マルチTPC：音声、動き、視線を含む3者間会話のためのマルチモーダルデータセット

科学分野:

• コンピュータサイエンス
• ヒューマンコンピュータインタラクション
• 言語学

背景:

• 会話ジェスチャー、特にマルチパーティ対話における会話ジェスチャーの分析は、データセットと評価指標が限られているため困難です。
• 既存の研究では、グループ会話における同期した音声、動き、視線の複雑さを研究するための包括的なリソースが不足しています。

研究 の 目的:

• 会話ジェスチャーの分析と生成を容易にするために設計された新しいマルチモーダルデータセットであるMulti-TPCを紹介すること。
• 談話分析、人間コミュニケーションダイナミクス、およびマルチモーダル相互作用の研究を進めるための基盤を提供すること。

主な方法:

• 3者間会話からのマルチモーダルデータ（音声、動き、視線）を収集および同期しました。
• ジェスチャーと他のコミュニケーションモダリティとの相関関係を特定するための統計分析技術を開発しました。
• 会話ジェスチャー分析の研究をサポートするためのデータセットと関連モデルを作成しました。

主要な成果:

• 会話ジェスチャーと音声、テキスト、話者IDとの相関関係を確立しました。
• Multi-TPCデータセットが豊かな会話ダイナミクスを研究するのに役立つことを実証しました。
• 人間相互作用を理解する上でのマルチモーダル分析の可能性を強調しました。

結論:

• Multi-TPCデータセットと関連モデルは、マルチモーダルコミュニケーション研究の分野に大きく貢献します。
• このリソースにより、グループ会話におけるジェスチャー、音声、視線の相互作用のより深い調査が可能になります。
• 自然な人間相互作用を理解し生成する必要がある人工知能システムの将来の進歩を促進します。