マルチモダル・センチメント分析のための階層的なテキスト・ガイド・リファインメント・ネットワーク

科学分野:

• 人工知能
• コンピュータ科学
• 自然言語処理

背景:

• マルチモダル・センチメント・アナリスト (MSA) は,テキスト,オーディオ,ビデオを統合して理解を深める.
• 既存の方法は,非テキストの特徴を調整し,情報冗長性を軽減するために苦労しています.

研究 の 目的:

• 改善されたMSAのために新しい階層テキストガイドリファインメントネットワーク (HTRN) を提案する.
• クロスモダルの相互作用を強化し,マルチモダルのデータに無関係な信号を抑制する.

主な方法:

• HTRN フレームワークは,階層的なテキスト表現を使用して,非テキスト モダリティを洗練し,調整します.
• シャッフル・インサート・フュージョン (SIF) は,一般化表現の局所的相関を乱します.
• テキスト・ガイデッド・アライメント・レイヤ (TAL) は,学習可能なゲーティング・ファクターを介して,テキスト・セマンティクスを使用して,オーディオ・ビジュアル・リファインメントをガイドします.

主要な成果:

• HTRNは最先端の精度:86.3% (CMU-MOSI),86.7% (CMU-MOSEI),80.3% (CH-SIMS) を達成した.
• 性能の改善は,既存の方法よりも0. 8から3. 45%の範囲であった.
• SIFとTALは1. 9から2. 1%のパフォーマンスの改善に貢献した.

結論:

• HTRNの枠組みは,マルチモダルの調整と冗長性の課題を効果的に解決しています.
• 提案された方法は,マルチモダルの感情分析のパフォーマンスを大幅に向上させます.
• HTRNは多式表現学習のための堅固な枠組みを確立しています.