マルチモダルの脳腫瘍セグメンテーションのためのフェデラートされたモダリティー固有のエンコーダーと部分的にパーソナライズされた融合デコーダー
Hong Liu1, Dong Wei2, Qian Dai3
1National Institute for Data Science in Health and Medicine, Xiamen University, Xiamen, 361005, Fujian, China; Tencent Jarvis Lab, Tencent, Shenzhen, 518075, Guangdong, China.
Medical image analysis
|August 27, 2025
まとめ
この研究は,多式医療イメージングのための連邦学習 (FL) フレームワークである FedMEPD を導入します. 欠けているデータを効果的に処理し,既存の方法を上回るパーソナライズされたモデルを可能にします.
科学分野:
- 人工知能
- 医療用イメージング
- 機械学習
背景:
- 現存するフェデレーテッド・ラーニング (FL) 方法は,参加者の間のデータ・モダリティが欠けているため,多様式医療イメージングではしばしば失敗する.
- インターモダルの異質性とパーソナライズされたモデルの必要性は,医療画像の共同分析において重要な課題を提示します.
研究 の 目的:
- マルチモダルの医療画像解析におけるインターモダルの異質性とパーソナライゼーションの両方を扱う新しい統合学習フレームワーク,FedMEPDを提案する.
- 参加者が不完全なイメージング方式を持っている場合でも,グローバルモデルを訓練できるシステムを開発します.
主な方法:
- FedMEPDは,モダリティ特有のエンコーダーと部分的にパーソナライズされたマルチモダルの融合デコーダーを使用しています.
- 完全なモダルのデータを持つ中央サーバーは,表現を融合させ,不完全なモダルのクライアントは,グローバルアンカーと整合するためにクロスアテネションを使用します.
- パーソナライゼーションは,パラメータ更新の不一致に基づいて,ダイナミックにデコーダーフィルターを調整することによって達成されます.
主要な成果:
- FedMEPDは,BraTS 2018年および2020年マルチモダル脳腫瘍セグメンテーションのベンチマークで優れたパフォーマンスを示しました.
- このフレームワークは,既存のマルチモダルおよびパーソナライズされたFL方法を上回り,インターモダルの異質性を効果的に処理しました.
- FedMEPDの新しい設計コンポーネントは,モデルのトレーニングとパフォーマンスの改善に有効であると検証されました.
結論:
- FedMEPDは,マルチモダルの医療イメージングにおける統合学習のための強力なソリューションであり,データの異質性に対応します.
- 提案されたアプローチは,個々の参加者のためのパーソナライズされた洞察を持つグローバルなモデルの必要性をうまくバランスとしています.
- このフレームワークは,複合的で現実的な医療イメージングシナリオに統合学習の適用性を向上させます.
