VIDHALLUC:ビデオ理解のためのマルチモダルの大型言語モデルにおける時間幻覚の評価

科学分野:

• 人工知能
• コンピュータ・ビジョン
• 機械学習

背景:

• マルチモダル大型言語モデル (MLLM) は,高度なビデオ理解能力を実証しています.
• MLLMのビデオ分析において,不正確なコンテンツの生成という幻覚は重要な課題です.
• 既存のMLLMのビジュアルエンコーダーは,視覚的に似ているが,意味学的に異なるビデオコンテンツを混同することが多い.

研究 の 目的:

• ビデオ理解における MLLM 幻覚の評価のための 最大の基準である VIDHALLUC を導入します
• 幻覚に対するMLLMの脆弱性を評価する
• DINO-HEALを提案する ビデオの幻覚を緩和する 新しい方法

主な方法:

• VIDHALLUCのベンチマークは5,002本のペア化されたビデオで構成されています.
• VIDHALLUCの基準で様々なMLLMの総合的なテストを行いました.
• DINO-HEALの導入,機能の重み付けのためにDINOv2の空間的突出性を使用するトレーニングフリーテクニック.

主要な成果:

• ほとんどのMLLMは,アクション,タイムシーケンス,シーンのトランジションの次元にわたって有意な幻覚を示します.
• DINO- HEALはMLLMの幻覚を効果的に軽減する.
• DINO- HEALは,タスクの間で幻覚を軽減する平均3. 02%の改善を達成しました.

結論:

• MLLMはビデオ理解作業で 幻覚に敏感です
• VIDHALLUCの基準は,これらの限界を評価し,対処するための重要なリソースを提供します.
• DINO-HEALは,再訓練なしで,MLLMのビデオ幻覚を減らすための実用的で効果的な解決策を提供します.