マルチモダル・バリエーション・オートエンコーダー: バリセントリック・ビュー

科学分野:

• 人工知能
• 機械学習
• コンピュータ・ビジョン
• 自然言語処理

背景:

• 現実世界の現象には複数のシグナルモード (例えば,視覚,音) が含まれる.
• 変数自動エンコーダー (VAE) を用いたマルチモダルの表現学習は,特に欠けているモダリティを扱うために牽引力を獲得しています.
• 既存のマルチモダルのVAEは,プロダクト・オブ・エキスパート (PoE) やミックス・オブ・エキスパート (MoE) のようなエキスパート・アグリゲーション・メソッドに依存しています.

研究 の 目的:

• バリセンターの概念に基づいたマルチモダルのVAEのための新しい理論的構想を提案する.
• 既存の PoE と MoE の方法がバリーセンターの特定の例であることを示すために.
• より柔軟なバリセンターアプローチを導入し,特にワサータイン距離を使用します.

主な方法:

• バリセンターを用いたマルチモダルの VAE の一般的な理論的構想を開発した.
• 専門家の生成物 (PoE) と専門家の混合物 (MoE) は,KL分散から派生した重心体の特殊例であることを示した.
• 表現学習の改善のために,2-ワサータイン距離を利用したワサータインバリアンセンターを導入し,探求した.

主要な成果:

• 提案されたバリーセンター式は,より柔軟な偏差の選択を可能にすることで,既存の方法を拡張します.
• ワセルスタインのバリセンターは,ユニモダル分布の幾何学を維持することによって,モダリティインヴァリアントとモダリティ固有の表現の両方を効果的に捕捉します.
• 3つのマルチモダルのベンチマークでの経験的評価は,提案されたメソッドの優れたパフォーマンスを確認しました.

結論:

• バリセンターフレームワークは,専門家ベースの方法と比較して,マルチモダルのVAEにより一般的で柔軟なアプローチを提供します.
• Wasserstein barycenterは,分布的幾何学をより良く保存することで,表現学習の強化を提供します.
• 提案された方法は,特にモダリティが欠けている場合,マルチモダルの表現学習のタスクにおいて重要な効果を示しています.