CoFaCo：制御可能な生成的顔動画コーディング

科学分野:

• コンピュータビジョン
• 動画圧縮
• 機械学習

背景:

• 効率的な顔動画コーディングと制御は、現代のコミュニケーションに不可欠です。
• コーディング前に制御を適用する現在の方法では、満足のいく圧縮効率が得られていません。

研究 の 目的:

• 制御をビデオコーディングプロセスに統合する効率的なフレームワーク、Controllable Generative Talking Face Video Coding (CoFaCo)を提案すること。
• 圧縮を改善して、ユーザーがカスタマイズ可能な顔の表情と頭のポーズを可能にすること。

主な方法:

• CoFaCoは、顔動画をコンパクトで意味のある特徴表現に投影します。
• 洗練された損失関数により、ポーズと表情の方向コードを分離し、独立した制御を可能にします。
• ジェネレータは、時間的整合性のためのスムージングとともに、制御されたポーズと表情を作成します。

主要な成果:

• CoFaCoは、超低ビットレートで競争力のある圧縮効率を示します。
• このフレームワークは、効果的なビデオ再構成と制御タスクを達成します。
• 分離されたポーズと表情コードは、制御精度と時間的安定性を向上させます。

結論:

• CoFaCoは、制御可能な顔動画コーディングのための効率的なソリューションを提供します。
• 統合されたアプローチは、制御機能を強化して顔動画コミュニケーションを進歩させます。
• このフレームワークは、パーソナライズされたビデオコミュニケーションの将来の開発に貴重な洞察を提供します。