MGML：不完全なマルチモーダル脳腫瘍セグメンテーションのためのプラグアンドプレイ型メタガイド型マルチモーダル学習フレームワーク

科学分野:

• 医用画像処理
• 人工知能
• 計算生物学

背景:

• マルチモーダル磁気共鳴画像法（MRI）は、脳腫瘍セグメンテーションに不可欠です。
• 臨床MRIデータはしばしば不完全であり、効果的な病変セグメンテーションを妨げます。
• 不完全なマルチモーダルMRIからの情報の最大化は、重要な研究課題です。

研究 の 目的:

• 脳腫瘍セグメンテーションのための新しいメタガイド型マルチモーダル学習（MGML）フレームワークを提示すること。
• 臨床現場における不完全なマルチモーダルMRIデータの課題に対処すること。
• セグメンテーションを改善するために、利用可能なマルチモーダル情報の活用を強化すること。

主な方法:

• メタガイド型マルチモーダル学習（MGML）フレームワークを、メタパラメータ化適応モダリティ融合（Meta-AMF）と一貫性正則化の2つのコンポーネントで開発しました。
• Meta-AMFは、さまざまな入力条件下で複数のモダリティからの情報を適応的に統合し、一貫した融合のためのソフトラベル監視信号を生成します。
• 一貫性正則化は、元のモデルアーキテクチャを変更することなく、セグメンテーションパフォーマンス、堅牢性、および一般化を強化します。

主要な成果:

• MGMLフレームワークは、BraTS2020およびBraTS2023データセットで最先端の方法と比較して優れたパフォーマンスを達成しました。
• BraTS2020では、15の欠損モダリティの組み合わせ全体での平均ダイススコアは、87.55%（WT）、79.36%（TC）、および62.67%（ET）でした。
• このアプローチは、トレーニングパイプラインにシームレスに統合され、エンドツーエンドの最適化を実現します。

結論:

• 提案されたMGMLフレームワークは、不完全なマルチモーダルMRIデータを効果的に活用し、脳腫瘍セグメンテーションを強化します。
• この方法は、堅牢性と一般化能力を示し、既存のアプローチを上回っています。
• このフレームワークは、不完全な臨床MRIデータを活用するための実用的なソリューションを提供し、ソースコードは公開されています。