Make-Your-Anchor+: Video Diffusion Prior を用いた時間的に一貫した2Dアバター生成

科学分野:

• コンピュータビジョン
• 人工知能
• デジタルメディア

背景:

• リアルな話す顔のアバターの生成は確立されていますが、全身モーション合成は依然として大きな課題です。
• 既存の方法では、大量のデータが必要になるか、時間的整合性と同一性保持に苦労することがよくあります。

研究 の 目的:

• 正確な全身運動を伴う自動アンカースタイルのビデオ生成のためのシステム、Make-Your-Anchor+ を紹介します。
• オンライン コンテンツ クリエイター向けの最小限のユーザー入力からデジタル アバターを作成できるようにします。

主な方法:

• 構造ガイド付き拡散モデルを 1 分間の入力ビデオでファインチューニングして、3D メッシュ条件を人間の外観にレンダリングします。
• 拡散モデルの 2 段階トレーニング戦略を採用し、特定の動きを外観にマッピングします。
• フレームごとの拡散モデルを事前トレーニング済みのビデオ拡散ウェイトに適合させ、バッチオーバーラップ時間的デノイズモジュールを使用して拡張ビデオ生成を行います。
• 顔領域の品質を向上させるために、同一性固有の顔強化モジュールを組み込みます。

主要な成果:

• システムは、正確な胴体と手の動きを伴うアンカースタイルのビデオを生成することに成功しました。
• Make-Your-Anchor+ は、最先端の方法と比較して、優れた視覚的品質、時間的整合性、および同一性保持を示します。
• 提案された時間的デノイズモジュールは、推論中にビデオ長の制約を効果的に回避します。

結論:

• Make-Your-Anchor+ は、全身モーションを備えた高品質のデジタル アバターを作成するための効果的かつ効率的なソリューションを提供します。
• このシステムは、オンライン ストリーマー、ライブ ショッピング ホスト、仮想プレゼンターに広く応用できます。
• この研究は、リアルな人間のモーション合成のための生成 AI の最先端を進歩させます。