マルチモダルの大型言語モデルにおける民族間の感情認識能力の評価は,目の中の心の読み取りテストを用いて行われます

科学分野:

• コグニティブ・サイエンス コグニティブ・サイエンス
• 人工知能 (AI) とは,人工知能 (AI) のことです.
• 心理学 心理学とは

背景:

• 正確な感情認識は,社会的認知に不可欠ですが,人間のバイアスに敏感です.
• マルチモダル大型言語モデル (MLLMs) は,客観的な感情分析の可能性を秘めています.
• 以前のMLLM評価では,主に民族的に均質なデータセットを使用していました.

研究 の 目的:

• 民族間の感情認識の正確性と一貫性について,主要なMLLMを体系的に評価する.
• MLLMのパフォーマンスを偶然と確立された人間の規範データと比較するために.
• ChatGPT-4,ChatGPT-4o,およびClaude 3 OpusのRMETテストの能力を評価する.

主な方法:

• 3つの主要なMLLM (ChatGPT-4,ChatGPT-4o,Claude 3 Opus) が評価されました.
• パフォーマンスは,ホワイト,ブラック,および韓国人の顔の刺激を伴う3つのRMETバージョンを使用して評価されました.
• 精度を確率レベルと比較して分析し,ヒトの規範データと比較した.

主要な成果:

• ChatGPT-4oは,すべての民族集団において,確率をはるかに上回る精度を示した (p < .001).
• ChatGPT-4oは高い精度 (83.3%-94.4%) を達成し,平均的な人間のパフォーマンスを上回り,各民族の間で一貫性を示しました.
• ChatGPT-4は人間の平均に近いパフォーマンスを発揮し,Claude 3 Opusは確率レベルに近いパフォーマンスを発揮しました.

結論:

• ChatGPT-4oは,他の評価されたMLLMと比較して,優れていて一貫したクロス民族感情認識能力を発揮しています.
• この研究は,社会認知のタスクに対するMLLMのパフォーマンスの急速な進歩を強調しています.
• モデルのパフォーマンスのギャップとタスクの制限により,さらなる検証と倫理的な考慮が必要である.