DAST-GAN: 動的注意機構と時空間的融合に基づく敵対的学習マルチモーダル感情分析モデル

科学分野:

• 人工知能
• 自然言語処理
• 機械学習

背景:

• マルチモーダル感情分析（MSA）は、アラインメントされていないシーケンスにおけるクロスモーダル相関と欠損データの扱いに苦労しています。
• 既存の方法では、動的な依存関係を捉え、ノイズの多い、または不完全な入力を効果的に処理できないことがよくあります。

研究 の 目的:

• MSAにおける、特にクロスモーダル相関のモデリングと欠損モダリティの処理における限界に対処するフレームワークDAST-GANを提案すること。
• 動的注意機構と敵対的学習を使用して、感情分析モデルの堅牢性と精度を向上させること。

主な方法:

• 意味論的コンテキストに基づいて適応的なクロスモーダル特徴量重み付けのための動的注意モジュール（DAM）を開発しました。
• モダリティ内の時間的相関とモダリティ間の空間的相関を捉えるための統一された時空間的注意（STA）メカニズムを実装しました。
• 不完全なデータに対する表現の堅牢性を向上させるための敵対的学習戦略に基づく敵対的生成ネットワーク（GAN）を利用し、デュアルパス最適化によって補完しました。

主要な成果:

• DAST-GANは、CMU-MOSI、CMU-MOSEI、およびCH-SIMSデータセットで非常に競争力のある結果を達成しました。
• 平均絶対誤差の有意な削減を示しました：CMU-MOSI（完全なモダリティ）で2.6％、CMU-MOSEI（不完全なモダリティ）で3.76％。
• アブレーション研究により、動的注意モジュール、時空間的注意、およびGANコンポーネントの効果が確認されました。

結論:

• DAST-GANは、MSAにおけるクロスモーダル相関を効果的にモデル化し、欠損モダリティを処理します。
• 提案されたフレームワークは、既存のベースライン手法を上回る強力な精度と堅牢性を示しています。
• DAM、STA、およびGANの相乗的な組み合わせは、マルチモーダル感情分析のパフォーマンス向上に大きく貢献します。