認知にインスパイアされたトークンがマルチモーダルモデルにおける自己中心的バイアスを克服

科学分野:

• 人工知能
• 認知科学
• コンピュータビジョン

背景:

• マルチモーダル言語モデル（MLM）は意味タスクに優れていますが、特に視点取得における空間推論には苦労しています。
• 現在のMLMは自己中心的なバイアスを示しており、アロセントリック推論を実行する能力を制限しています。
• 人間の空間認知は、より高度なAI推論能力を開発するための洞察を提供します。

研究 の 目的:

• MLMにおけるアロセントリック推論を強化するための新しい方法を導入すること。
• AIモデルにおける視覚的視点取得能力を向上させること。
• MLMが人間のような空間推論をサポートする可能性を調査すること。

主な方法:

• 方向性を具現化されたまたは抽象的な表現によってエンコードする特殊な埋め込みである「パースペクティブトークン」を開発しました。
• これらのトークンをLLaVA-1.5-13Bモデルに統合しました。
• Isle Bricks V2、COCO、3DSRBenchを含む合成および自然なベンチマークでパフォーマンスを評価しました。

主要な成果:

• パースペクティブトークンの統合により、レベル2の視覚的視点取得タスクのパフォーマンスが大幅に向上しました。
• 回転ベースのトークンは、人間以外の参照エージェントに対する汎化能力を示しました。
• 表現分析により、ファインチューニングがMLMにおける潜在的な方向性感度を向上させることが示されました。

結論:

• 認知的に根拠のある空間構造をトークン空間に埋め込むことは、視点取得のための効果的で軽量かつモデルに依存しないアプローチです。
• MLMはアロセントリック推論の前駆体を持っていますが、効果的な利用のためには適切な内部構造が必要です。
• この方法は、AIシステムにおけるより人間らしい空間推論を促進します。