MERBench: マルチモーダル感情認識のための統一評価ベンチマーク

科学分野:

• ヒューマン・コンピュータ・インタラクション
• 感情コンピューティング
• 機械学習

背景:

• マルチモーダル感情認識は、ヒューマン・コンピュータ・インタラクションにおけるユーザーエクスペリエンスの向上に不可欠です。
• 既存の研究は、特徴抽出、評価プロトコル、実験設定の一貫性のなさという課題に直面しており、公正な比較を妨げています。
• この一貫性のなさは、分野全体の進歩を妨げています。

研究 の 目的:

• MERBench、マルチモーダル感情認識のための統一評価ベンチマークを導入すること。
• 特徴選択、マルチモーダル融合、ロバスト性分析、ファインチューニング、事前学習などの主要技術を評価すること。
• 将来の研究のための明確なガイダンスを提供し、有望な方向性を特定すること。

主な方法:

• MERBench、標準化された評価フレームワークの開発。
• MERBenchフレームワーク内での一般的な技術の評価。
• 中国語感情認識のためのMER2023データセットの導入。

主要な成果:

• MERBenchは、マルチモーダル感情認識アルゴリズムの公正かつ包括的な比較を可能にします。
• 評価結果は、有望な研究の方向性を強調しています。
• MER2023データセットは、マルチラベル、ノイズロバスト、半教師あり学習の研究をサポートします。

結論:

• MERBenchは、マルチモーダル感情認識における標準化された評価の重要な必要性に対処します。
• ベンチマークと新しいデータセットは、この分野の進歩を加速させるでしょう。
• 研究者は、一貫性のある再現可能な結果を得るためにMERBenchを採用することが奨励されます。