進化する分布シフト下での連合学習

科学分野:

• 機械学習
• 分散システム
• 人工知能

背景:

• 連合学習（FL）は、生データを集中化することなく、協調的なモデルトレーニングを可能にします。
• 既存のFL手法は、静的なクライアントデータの分布を仮定することが多く、これは非現実的です。
• 現実世界のFLシナリオでは、トレーニングとテストの間でさえ、時間とともにクライアントデータに動的で非自明な変化が生じます。

研究 の 目的:

• 時間とともに進化するクライアントデータでモデルをトレーニングできるFLアルゴリズムを開発すること。
• 進化するデータ分布シフトに対するFLシステムの堅牢性を強化すること。
• 動的なFL環境における将来のターゲットデータに対する汎化を達成すること。

主な方法:

• 提案されたFedEvolveアルゴリズム：連続するクライアントデータドメイン間の表現遷移を学習することにより、時間的進化を明示的にモデル化します。
• 提案されたFedEvpアルゴリズム：すべての過去のドメインからの継続的に更新されるプロトタイプと現在のデータを整列させることにより、進化するドメイン不変表現を学習します。
• 合成データセットと実世界のデータセットの両方で広範な実験が実施されました。

主要な成果:

• FedEvolveとFedEvpは、従来のFLベースラインと比較して大幅なパフォーマンス向上を示しました。
• 提案されたアルゴリズムは、クライアントデータの分布における進化するパターンを効果的に捉えました。
• これらの手法は、進化する分布シフト下での堅牢性と強力な汎化能力を示しました。

結論:

• 提案されたFedEvolveおよびFedEvpアルゴリズムは、連合学習における動的なクライアントデータ分布の課題に正常に対処しました。
• これらの新しいアプローチにより、FLシステムは時間的シフトにもかかわらず、将来のデータに対して効果的に汎化できます。
• これらの発見は、現実的なFLアプリケーションにおいてデータ進化を考慮することの重要性を強調しています。