インタラクティブ・デジタル・ヒューマンの開発

科学分野:

• コンピュータ・ビジョン
• 人とコンピュータの相互作用
• 人工知能

背景:

• 従来のデジタル人間システムは 複雑な感情とリアルタイムの反応に 苦しんでいます
• 制限には,複数の感情の同時発生,ダイナミックな表現,意味論的正確性が含まれます.

研究 の 目的:

• マルチモダルの感情認識と複合的な表情生成を統合したデジタル人間システムフレームワークを提案する.
• "スピーチ・セマンティック・パーシング・マルチモダル・エモーション・認識・アクション・ユニット (AU) レベル3Dの表情制御"を介して,複合的な感情表現のためのリアルタイム・パイプラインを確立する.

主な方法:

• 感情の分類にResNet18を使用しました.
• アクションユニット (AU) モーションカーブドライビングモジュールをUnreal Engineで開発し,動的感情合成のためのステートマシンを使用した.
• セマンティック分析と言語主導の顔の反応を生成するGenerative Pre-trained Transformer (GPT) を採用した.

主要な成果:

• 顔のアニメーションの質が 大きく改善されました
• 3. 54 から 3. 94 に,意味合いは 3. 44 から 3. 80 に増加しました.
• リアルタイムで感情を表現する能力を検証した.

結論:

• 提案されたシステムは,感情的な相互作用を持つ高精度デジタル人間のための完全な技術的枠組みを提供します.
• 先進的なデジタル人間開発の 実践的な基盤を提供します
• 現在の人間のデジタル表情の 限界を解決しました