不完全なマルチモーダル医療画像セグメンテーションにおける階層的勾配アラインメントによる不均衡モダリティ不完全性への対処

科学分野:

• 医療画像解析
• 機械学習
• コンピュータビジョン

背景:

• マルチモーダル学習は、医療画像セグメンテーションに有望です。
• 実世界のデータは、多様なソースによりモダリティの不完全性に苦しむことがよくあります。
• 既存の手法は、トレーニングデータの制限とモデルの不均衡に対処するのに苦労しています。

研究 の 目的:

• 医療画像セグメンテーションにおける不完全なマルチモーダル学習の課題を定式化し、対処すること。
• トレーニング中にユニモーダルデータとマルチモーダルデータをバランスさせるための階層的勾配アラインメント（HGA）を提案すること。
• 欠損モダリティが存在する場合のモデルの公平性、堅牢性、パフォーマンスを向上させること。

主な方法:

• 階層的勾配アラインメント（HGA）を提案し、マルチモーダル組み合わせのための逐次メタ学習と、ユニモーダルデータのためのマルチレベル自己蒸留を利用します。
• 勾配方向のアラインメントは、メタ学習と自己蒸留を通じて達成されます。
• 勾配大きさのアラインメントは、相対的選好推定を用いて、モダリティの優位性をバランスさせます。

主要な成果:

• HGAは、不完全で不均衡なマルチモーダル学習において、最先端の手法を一貫して上回ります。
• 5つの公開ベンチマーク（BraTS、MyoPS、MSSEG）での実験により、HGAの有効性が検証されています。
• HGAはプラグアンドプレイモジュールとして機能し、さまざまなバックボーンにわたってパフォーマンスを向上させます。

結論:

• HGAは、医療画像セグメンテーションにおけるユニモーダルおよびマルチモーダル不均衡の課題を効果的に解決します。
• 提案された手法は、不完全なマルチモーダルデータが存在するシナリオに対して堅牢なソリューションを提供します。
• HGAは一貫したパフォーマンス向上を提供し、さまざまなネットワークアーキテクチャに適応可能です。