Federated Domain Generalizationのためのパラメータフリールーティングを用いたトークンレベルプロンプト混合

科学分野:

• 人工知能
• 機械学習
• コンピュータビジョン

背景:

• 連合ドメイン一般化（FedDG）は、分散型で異種なデータでモデルをトレーニングします。
• 既存のFedDGのプロンプト学習方法は、サンプルの多様性に苦労し、パフォーマンスの低下につながります。
• 混合エキスパート（MoE）アーキテクチャは専門化を提供しますが、エキスパートの割り当てと通信コストの課題に直面しています。

研究 の 目的:

• 現在のMoEベースのプロンプト学習の制限に対処するFedDGのための新しいフレームワークであるTRIPを導入すること。
• トークンレベルのエキスパート割り当てを通じて、細かい視覚パターンのキャプチャを可能にすること。
• パラメータフリールーティングを介して通信オーバーヘッドを削減すること。

主な方法:

• TRIPは、トークンレベルのプロンプト混合とパラメータフリールーティングフレームワークを採用しています。
• 個々の画像トークンは、専門化された学習のために異なるプロンプトエキスパートに割り当てられます。
• パラメータフリールーティングは、容量認識クラスタリングと最適な輸送（OT）を使用して効率的なエキスパート割り当てを実現します。

主要な成果:

• TRIPは4つのベンチマーク全体で最適な一般化パフォーマンスを達成しました。
• このフレームワークは、わずか1Kパラメータで通信コストを大幅に削減します。
• トークンレベルの割り当ては、画像レベルの方法よりも効果的に細かい視覚パターンをキャプチャします。

結論:

• TRIPは、連合ドメイン一般化のための効果的かつ効率的なソリューションを提供します。
• 提案されたパラメータフリールーティングメカニズムは、通信オーバーヘッドを劇的に削減します。
• TRIPは、専門化され一般化可能なモデルのためのトークンレベルのエキスパート割り当ての可能性を示しています。