深層学習モデルを用いたスピーチ同期型ジェスチャー予測による人間とロボットのインタラクション強化

科学分野:

• ロボット工学
• ヒューマンコンピュータインタラクション
• 人工知能

背景:

• ロボットは人間とのインタラクションを必要とするタスクをますます実行しており、適切なパートナーとして認識される必要があります。
• 表情やジェスチャーによって達成されるロボットの生き生きとした外観は、ユーザーの受け入れに不可欠です。
• ロボットの発話とジェスチャーの同期は、自然なコミュニケーションのための重要な課題です。

研究 の 目的:

• ロボットの発話と同期するジェスチャーを予測・同期するシステムを開発すること。
• ロボットが発話コミュニケーションをサポートするスピーチ同期型ジェスチャーを生成できるようにすること。
• 非言語的な表現力を強化することで、人間とロボットのインタラクションを改善すること。

主な方法:

• 深層学習ベースの予測モデルを用いて、ロボットの発話に適切な表現タイプをラベル付けしました。
• 予測されたジェスチャーを特定の発話セグメントに整列させるためのルールベースの同期モジュールを開発しました。
• リカレントニューラルネットワークと条件付きランダムフィールド、およびTransformerモデルの2つの異なるアプローチを評価しました。

主要な成果:

• 開発されたシステムは、ロボットの発話とジェスチャーを効果的に予測・同期させます。
• システムは、リアルタイムインタラクションの制約内で適切なスピーチ同期型ジェスチャーを選択する能力を実証しました。
• テストされた両方の深層学習アーキテクチャは、ジェスチャー予測と同期に効果的であることが証明されました。

結論:

• 提案されたシステムは、同期した発話とジェスチャーを生成することにより、ロボットの表現力を強化します。
• この進歩は、より自然で効果的な人間とロボットのコミュニケーションに貢献します。
• 本研究は、社会的インタラクション能力が向上したロボットを作成するための深層学習の使用を検証します。