ユニファイド・モダリティ・セパレーション: 監視されていない領域の適応のためのビジョン・言語の枠組み

科学分野:

• 人工知能
• コンピュータ・ビジョン
• 自然言語処理

背景:

• 無監督ドメイン適応 (UDA) は,標識されたソースドメインから標識されていないターゲットドメインへのモデルを一般化することを目的としています.
• 先程訓練された視覚言語モデル (VLM) は,視覚とテキストの埋め込みを並べることでUDAの有望性を示していますが,モードのギャップはパフォーマンスを妨げています.
• VLMの直接的なUDAは,しばしばモダリティ不変の知識のみを転送し,最適でない結果につながります.

研究 の 目的:

• VLMにおけるモダリティのギャップを解決する統一されたUDAの枠組みを提案する.
• モダリティスペシフィックとモダリティインヴァリアントのコンポーネントを分離して処理し,適応を向上させる.
• 標本の分類と標的の適応のためのモダリティ・ディスカランシーメトリックを導入する.

主な方法:

• VLMの特徴をモダリティに特化したインヴァリアントな構成要素に分解するために,統一されたモダリティ分離の枠組みが提案されています.
• コンポーネントの相乗効果を最大化するために,試験時にモダリティ・アダプティブ・アンサンブル・ウェイトが決定されます.
• モダリティ・ディスカランシー・メトリックはサンプルを分類し,モダリティ・インヴァリアントのサンプルをアライナメントに使用し,不確実なサンプルをアノテーションに使用することを可能にします.

主要な成果:

• 提案された枠組みにより,UDAの業務のパフォーマンスは最大9%向上します.
• この方法は既存の方法と比較して 計算効率が9倍も上がったことを示しています
• フレームワークの有効性と強さを検証しています.

結論:

• 統一されたモダリティ分離の枠組みは,UDAのVLMにおけるモダリティのギャップを効果的に埋める.
• このアプローチは,モダリティ特有の知識とインヴァリアントな知識の両方を活用することによって,領域間の一般化を促進します.
• この作業は,VLMでUDAのための計算効率の高いソリューションを提供します.