階層的暗黙的周期性学習による協調的音声合成ジェスチャー生成に向けて

科学分野:

• コンピュータビジョン;人工知能;ヒューマンコンピュータインタラクション

背景:

• 音声からのリアルな3D体の動きの生成は、仮想現実やアニメーションなどのアプリケーションにとって重要です。現在の方法では、頭、体、手などの異なる身体部分間の相互および内部の相関関係のモデリングの限界により、自然さと協調性に苦労することがよくあります。

研究 の 目的:

• 音声に触発された3Dジェスチャー生成のための新しい階層的暗黙的周期性（HIP）学習アプローチを提案すること。顔の表情、体のジェスチャー、手の動きの間の内的な相関関係を明示的にモデル化することにより、協調的音声合成ジェスチャー生成の不良設定問題を解決すること。

主な方法:

• ジェスチャーモーションの位相多様性を探求するために周期的なオートエンコーダーを利用し、周期的な人間運動特性と非周期的な人間運動特性の両方を捉えます。顔の表情、体のジェスチャー、手の動きの間の階層的な関係をモデル化するために、カスケードガイダンスを実装します。

主要な成果:

• 提案されたHIPアプローチは、定量的および定性的な評価において、最先端の方法と比較して優れたパフォーマンスを示しました。生成された3Dジェスチャーは、3Dアバター上で自然さと協調性が向上しました。

結論:

• HIP学習アプローチは、リアルな協調的音声合成ジェスチャー生成のためのマルチモーダル暗黙的関係を効果的にモデル化します。この方法は、音声と同期した自然で協調的な3D人間運動の作成において大きな進歩を提供します。