BOBA:ラベルスキーネスによるバイザント・ロバスト・フェデレーション・ラーニング
Wenxuan Bao1, Jun Wu1, Jingrui He1
1University of Illinois Urbana-Champaign.
まとめ
BOBAを導入します これはIID以外のデータにおける レーベルの偏差に対応する 統合学習法です BOBAはバイザントの攻撃に対する 頑丈さを向上させ クラスバイアスを軽減し 既存の方法を上回ります
科学分野:
- 機械学習
- 分散型システム
- サイバーセキュリティ
背景:
- 連邦学習 (FL) は,通常,クライアント間で独立した,同一に分布された (IID) データを想定します.
- 既存の堅牢な集積規則 (AGR) は,しばしばIIDの設定のために設計され,IID以外のデータ,特にラベルの偏差と闘っています.
- 選択バイアスやバイザントの攻撃に対する脆弱性などの課題を提示します.
研究 の 目的:
- ラベル歪み,非IIDデータ分布の下での統合学習のための堅固な集積方法を開発する.
- IID以外の環境における現在の AGR に固有の選択バイアスとバイザント攻撃に対する脆弱性を改善する.
- すべてのデータクラスにおけるモデルの性能と公平性を向上させる,効率的で理論的に健全なアプローチを提案する.
主な方法:
- BOBA (バランス・アンド・オプティマイズド・バイザント・アウェア・アグレゲーション) という2段階の効率的なアグレゲーション方法を提案します
- BOBAは,選択バイアスを軽減し,非IIDの連邦学習におけるバイザントの敵に対する強さを高めるために設計されています.
- 理論的な分析は,最適の誤差の限界とのBOBAの収束を確認します.
主要な成果:
- 経験的評価によると,BOBAは,レッテルの偏差によって引き起こされる過小評価の成績の低下を大幅に軽減します.
- BOBAは,IID以外の環境における最先端のAGRと比較して,バイザントの攻撃に対する優れた強度を示しています.
- この方法は偏見のない集約を実現し,多様なデータセットとモデルで高い精度を保ちます.
結論:
- BOBAはフェデレーテッド・ラーニングにおけるラベルの偏りや ビザンティンの攻撃という課題に 効果的に取り組んでいます
- 提案された方法は,より堅牢で公正な連邦モデルを構築するための実用的で効率的な解決策を提供します.
- 将来の研究は,BOBAを他の形態のデータ異質性への拡張を探求することができます.
関連する概念動画
Types of Skewness
12.5K
If the frequency distribution of a data set is more inclined towards smaller or larger values, the distribution is said to be skewed. If data values are skewed to the right, then the distribution is called positively skewed. Conversely, if the plot is skewed to the left, the distribution is called negatively skewed.
For instance, in the middle of a pandemic, the geographical distribution of vaccine coverage may be positively skewed towards populations in the global north countries. However,...
For instance, in the middle of a pandemic, the geographical distribution of vaccine coverage may be positively skewed towards populations in the global north countries. However,...
12.5K
Skewness
12.6K
The measures of central tendency calculated from a data set may not reveal much about its intrinsic distribution. If a plot is made of the data set’s values, the mean and the median may not only differ, but also the plot may have more values on one side of the central tendencies. Such a data set is said to be skewed towards that side.
The longer the tail of the plot on one side, the more skewed it is. The skewness of a data set’s values suggests that the measures of central tendency...
The longer the tail of the plot on one side, the more skewed it is. The skewness of a data set’s values suggests that the measures of central tendency...
12.6K
Associative Learning
566
Associative learning is a fundamental concept in behavioral psychology, wherein a connection is established between two stimuli or events, leading to a learned response. This process is critical in understanding how behaviors are acquired and modified. Conditioning, the mechanism through which associations are formed, can be divided into two main types: classical conditioning and operant conditioning, each elucidating different aspects of associative learning.
Classical conditioning, also known...
Classical conditioning, also known...
566
Observational Learning
305
Albert Bandura's observational learning, also known as imitation or modeling, occurs when a person observes and imitates another's behavior. It is a quicker process than operant conditioning. A well-known example is the Bobo doll study, where children who saw an adult acting aggressively towards the doll were more likely to act aggressively when left alone, compared to those who observed a nonaggressive adult. Many psychologists view observational learning as a form of latent learning...
305
Regression Toward the Mean
6.5K
Regression toward the mean (“RTM”) is a phenomenon in which extremely high or low values—for example, and individual’s blood pressure at a particular moment—appear closer to a group’s average upon remeasuring. Although this statistical peculiarity is the result of random error and chance, it has been problematic across various medical, scientific, financial and psychological applications. In particular, RTM, if not taken into account, can interfere when...
6.5K
Improving Translational Accuracy
2.7K
2.7K
