DirMixE：階層的ラベル変動によるテスト非依存のロングテール認識の活用

科学分野:

• コンピュータビジョン
• 機械学習
• 人工知能

背景:

• ロングテール認識タスクは、未知の不均衡なテストラベル分布により課題が生じます。
• 既存のMixture-of-Expert（MoE）法は、主にグローバルな変動に対処し、ローカルな分布シフトを無視しています。

研究 の 目的:

• テストラベル分布のグローバルおよびローカルの両方の変動を考慮した新しいMoE戦略、DirMixEを開発し、ロングテール認識を改善すること。
• パラメータ効率的な基盤モデルのファインチューニングのための潜在スキルファインチューニング（LSF）フレームワークを導入すること。
• 標準的な学習とパラメータ効率的なファインチューニング（PEFT）の一般化誤差の上限を理論的に分析すること。

主な方法:

• ローカルな変動を捉えるためにディリクレメタ分布にエキスパートを割り当てるDirMixE戦略を提案し、グローバルな変動を本質的に処理します。
• パラメータ効率的なファインチューニングのためにLoRAおよびAdapter実装を備えた潜在スキルファインチューニング（LSF）フレームワークを開発しました。
• 一般化誤差の理論的な上限を導出し、PEFT仮説クラスのスケーリングを分析しました。

主要な成果:

• DirMixEは、多様で不均衡なテストラベル分布の処理に有効であることを示しました。
• LSFフレームワークは、基盤モデルの効率的なファインチューニングを可能にします。
• 理論的分析は、分散ベースの正則化の利点を確認し、PEFTの複雑さに関する洞察を提供します。

結論:

• DirMixEは、階層的なラベル分布の変動に対処することにより、テスト非依存のロングテール認識のための堅牢なソリューションを提供します。
• LSFフレームワークは、パラメータ効率的なファインチューニングのための効果的なアプローチを提供します。
• この研究は、機械学習とPEFTの一般化に関する理論的理解に貢献します。