知識の二重活用：半教師ありマルチモーダル医用画像セグメンテーションのための統一オールインワンフレームワーク

科学分野:

• 医用画像解析
• 人工知能
• コンピュータビジョン

背景:

• マルチモーダル（MM）半教師あり学習（SSL）は、多様なデータを活用し、ラベル付きデータの必要性を最小限に抑えるために、医用画像セグメンテーションにおいて重要です。
• 既存のMM-SSL法は、2を超えるモダリティのスケーラビリティ、不完全な特徴表現（モダリティ固有情報の無視）、およびラベルなしデータのための信頼性の低い生成的方法に対処するのに苦労しています。

研究 の 目的:

• マルチモーダル半教師あり学習（MM-SSL）医用画像セグメンテーションのための、新しく統一されたオールインワンフレームワークを提案すること。
• 現在のMM-SSLアプローチにおけるスケーラビリティ、特徴表現、および生成的方法への依存の限界を克服すること。

主な方法:

• 任意の数のモダリティを処理できるモダリティオールインワンセグメンテーションネットワーク（U-Netベース）を開発しました。
• 不変および固有の特徴を捉えるためのモダリティレベル変調バンク（MLMB）とモダリティレベルプロトタイプバンク（MLPB）を導入し、モダリティプロトタイプ対照学習（MPCL）を介して更新しました。
• モダリティ間のバランスの取れた学習のためのモダリティ適応重み付け（MAW）と、生成モデルなしで堅牢なSSLのためのデュアルコンシステンシー（DC）戦略を実装しました。

主要な成果:

• 提案されたフレームワークは、2〜4モダリティにわたる医用画像を正常にセグメンテーションしました。
• 3つのオープンソースデータセットで最先端の方法と比較して優れたパフォーマンスを達成しました。
• モダリティ不変およびモダリティ固有の両方の特徴の効果的な利用を示しました。

結論:

• 統一されたオールインワンフレームワークは、MM-SSL医用画像セグメンテーションのスケーラブルで効果的なソリューションを提供します。
• 提案されたMLMB、MLPB、MPCL、MAW、およびDC戦略は、セグメンテーションの精度と堅牢性を総合的に向上させます。
• 複数のモダリティと多様な特徴学習を処理するフレームワークの能力は、この分野における重要な進歩を示しています。