多言語感情分析のためのパーソナライズおよびプライバシー保護型連合トランスフォーマーフレームワーク

科学分野:

• 自然言語処理
• 機械学習
• 人工知能

背景:

• 多言語感情分析は、多様な言語とデータプライバシーに関する課題に直面しています。
• 連合学習（FL）はプライバシー保護アプローチを提供しますが、パーソナライゼーションと非IIDデータに苦労しています。

研究 の 目的:

• パーソナライズおよびプライバシー保護型多言語感情分析のための新しい連合トランスフォーマーフレームワークであるFedPerXを導入すること。
• FL設定における言語の多様性、非IIDデータ、および厳格なプライバシー要件に対処すること。

主な方法:

• FedPerXは、パーソナライゼーションのために軽量でクライアント固有のアダプターを備えた、凍結された多言語バックボーン（XLM-R）を利用します。
• 適応型マルチグラニュラ差分プライバシーは、特徴レベルとアダプターレベルでの動的なノイズ注入を通じて実装されます。
• このフレームワークは、MARCおよびTSMD多言語ベンチマークで、さまざまな言語とデータタイプにわたって評価されます。

主要な成果:

• FedPerXは、最先端のベースラインを上回る一貫した改善を達成し、マクロF1で最大+4.3%のゲインを達成しました。
• 通信オーバーヘッドの70%削減とクライアントパフォーマンスの最小限のばらつきを実証しました。
• 分析により、堅牢性、適応性、公平性、および効果的なプライバシーとユーティリティのトレードオフが確認されました。

結論:

• FedPerXは、連合多言語感情分析のためのスケーラブルでパーソナライズされたプライバシー保護ソリューションを提供します。
• このフレームワークは、モデルパフォーマンス、通信効率、およびユーザープライバシーの効果的なバランスをとります。