プロンプトの分離：言語ガイダンスと表現アライメントによるドメイン汎化

科学分野:

• 人工知能
• コンピュータビジョン

背景:

• ドメイン汎化（DG）は、ドメイン不変表現を学習することによって、未知のドメインで機能するモデルを対象としています。
• 視覚的基盤モデル（VFM）は、プロンプトチューニングを介してDGに有望ですが、ドメイン不変特徴の分離に焦点を当てることがしばしば欠けています。

研究 の 目的:

• VFMsの言語プロンプトを活用してドメイン不変特徴を分離することにより、クロスドメイン汎化を強化します。
• 堅牢なドメイン汎化のための新しいフレームワーク、PADGを提案します。

主な方法:

• 大規模言語モデル（LLM）を利用して、テキストプロンプトをドメイン不変およびドメイン固有のコンポーネントに分離します。
• シミュレートされたドメインシフトと表現アライメントを通じて視覚的不変性を強化するために、最悪の明示的表現アライメント（WERA）モジュールを採用します。

主要な成果:

• PADGは、主要なDGベンチマーク（PACS、VLCS、OfficeHome、DomainNet、TerraInc）で最先端の方法を一貫して上回っています。
• 堅牢なドメイン不変表現学習における有効性を示しています。

結論:

• 提案されたPADGフレームワークは、VFMベースのDGにおける限界を効果的に解決します。
• ガイド付き言語プロンプトと表現アライメントを通じてドメイン不変特徴を分離することにより、優れたパフォーマンスを達成します。