乳がんにおける生成的人工知能を用いたマルチモーダル仮想生検のための拡張知能

科学分野:

• 医用画像
• ヘルスケアにおける人工知能
• 腫瘍学

背景:

• 乳がんの診断は、フルフィールドデジタルマンモグラフィ（FFDM）および造影スペクトルマンモグラフィ（CESM）などの画像技術に依存しています。
• CESMデータの欠損は、診断ワークフローを混乱させ、分類精度に影響を与える可能性があります。
• 仮想生検は、乳腺病変を非侵襲的に分類する方法を提供します。

研究 の 目的:

• 乳がんの仮想生検のためのマルチモーダル、マルチビュー深層学習アプローチを開発すること。
• 病変分類を改善するためにFFDMおよびCESMデータを統合すること。
• 画像合成のための生成AIを使用して、欠損しているCESMデータに対処すること。

主な方法:

• CycleGANモデルは、FFDM入力から欠損しているCESM画像を合成しました。
• 3つの畳み込みニューラルネットワーク（ResNet18、ResNet50、VGG16）が分類に使用されました。
• 2段階の後期フュージョン戦略は、マシューズ相関係数（MCC）で重み付けされた、ビュー固有およびモダリティ固有の確率を組み合わせました。

主要な成果:

• 生成AIは、高忠実度のCESM画像合成（PSNR > 24 dB、SSIM > 0.8）を達成しました。
• マルチモーダルアプローチ（FFDM + CESM）は、ユニモーダルFFDMのみの分類よりも優れた性能を示しました。
• 完全に合成されたCESM画像であっても、マルチモーダルアプローチはFFDM単独よりも性能を向上させました。

結論:

• 生成AIはCESM画像を効果的に合成し、乳がん診断におけるデータギャップを克服します。
• 合成CESM画像を組み込むことで、FFDMベースの仮想生検のパフォーマンスが向上します。
• この非侵襲的なアプローチは、臨床的意思決定をサポートし、貴重なデータセット（CESM@UCBM）を提供します。