感情理解のためのテキストと音声の架け橋：統一された音声・テキスト属性を備えた説明可能なマルチモーダルTransformer融合フレームワーク

科学分野:

• 人工知能
• 認知科学
• 計算言語学

背景:

• 会話のやり取りは、感情を研究するための豊かな言語的および音声的手がかりを提供します。
• 既存の感情認識モデルは、単一のモダリティに焦点を当てることが多く、感情的なコミュニケーションの理解を制限しています。

研究 の 目的:

• 高度な感情理解のための説明可能なマルチモーダルTransformerフレームワークを開発すること。
• テキストの意味論と音響的韻律を統合して、包括的な感情分析を行うこと。

主な方法:

• テキストの意味論にはRoBERTaを、音響的韻律にはWavLMを使用しました。
• 補完的な分析のために、両方のモダリティを共有潜在空間に投影しました。
• 統合勾配法やオクルージョンなどの説明可能なAI（XAI）技術を組み込みました。

主要な成果:

• 5つの感情カテゴリ全体で0.83の精度を達成しました。
• 言語と音声の補完的な貢献を捉えるモデルの能力を実証しました。
• 予測を特定の言語トークンと韻律パターンに正常に帰属させました。

結論:

• マルチモーダルAIシステムは、感情認識の精度と透明性を向上させます。
• 説明可能なAI技術は、計算メカニズムと人間の感情知覚を一致させます。
• この研究は、透明なAIを通じた人間中心の感情認識をサポートします。