MTRAG:ハイブリッド・セマンティック・スペース・インテグレーションによるマルチターゲットの参照と接地

科学分野:

• コンピュータビジョン コンピュータビジョン
• 自然言語処理 (Natural Language Processing) とは,自然言語処理で処理される言語のことです.
• 人工知能 (AI) とは,人工知能 (AI) のことです.

背景:

• 微細な視覚的参照と接地は,シーンの理解と視覚言語のアプリケーションにとって不可欠です.
• 既存のマルチモダル大言語モデル (MLLMs) は,精細な多ターゲットシナリオで苦戦しています.

研究 の 目的:

• 現在のMLLMの限界に対処する,マルチターゲットの参照と接地のためのピクセルレベルのフレームワークであるMTRAGを提案する.
• 複雑なビジュアルタスクのパフォーマンスを向上させるために,セマンティック・スペースのコラボレーションを強化する.

主な方法:

• 追加地域抽出機なしで,グローバルおよび複数の地域特性の抽出のためのチャネル拡張メカニズム (CEM) が導入されました.
• ピクセルレベルの接地用の接地ブランチと,意味論と空間特性を融合させるハイブリッドアダプター (HA) を開発した.
• 厳選されたMTRAG-DデータセットとMTR-Benchのベンチ値は,マルチターゲットのリファリングを体系的に評価するためのものです.

主要な成果:

• MTRAGは,複数のターゲットと単一のターゲットのリファリングとグラウンド作業の両方で,一貫して強いベースラインを上回ります.
• このフレームワークは,画像レベルのキャプションで競争力のあるパフォーマンスを維持しています.
• ハイブリッド・アダプターを通じて,効果的な意味空間的アラインメントを実証した.

結論:

• MTRAGは,ピクセルレベルのマルチターゲットの参照と接地のための堅牢なソリューションを提供します.
• 提案された方法は,微細な視覚的理解におけるMLLMの能力を大幅に向上させる.
• MTRAGは,マルチターゲットのビジュアルタスクに関する将来の研究にとって貴重なベンチマークを提供します.