アナトミー・ガイデッド・ビジュアル・プロンプト・チューニングは,クロスモダルの乳がんの理解を可能にします

科学分野:

• 人工知能 (AI) とは,人工知能 (AI) のことです.
• メディカルイマージング (医学イメージング)
• コンピュータビジョン コンピュータビジョン

背景:

• 乳がんの検出は,病変の異質性および医学イメージングのクロスドメインの不一致性のために課題に直面しています.
• 既存のビジョントランスフォーマー (ViT) とパラメータ効率的な微調整 (PEFT) の方法は,データ駆動であり,解剖学的事前の統合が欠けている.

研究 の 目的:

• アナトミー・ガイデッド・ビジュアル・プロンプト・チューニング (A-VPT) という新しいフレームワークを開発し,乳がん検出のためのViTプロンプト・チューニングに明示的な解剖学的構造を組み込む.
• 組織意識のプロンプトとクロスモダルのアライメントを統合することにより,モデルの汎用性と効率性を向上させる.

主な方法:

• A-VPTは,腺,脂肪,管状領域の埋め込みを使用して,組織意識のプロンプトを動的に生成します.
• 階層的なプロンプト-トークンの相互作用は,トランスフォーマー層にわたって実行されます.
• クロスモダルのコントラスティヴ・アラインメント・ストラテジーは,マンモグラフィー,超音波,MRIにおける解剖学的な意味論を調和させる.

主要な成果:

• A-VPTは,ベンチマークデータセットでの乳房病変の分類とセグメンテーションにおいて最先端の性能を達成しています.
• フレームワークは,完全な微調整と比較して,調整可能なパラメータの2%未満を使用しています.
• 質的分析では,解剖学的に誘導されたプロンプトは,放射線学的構造と整合した解釈可能な注意パターンを生成することを示しています.

結論:

• アナトミック・プリオアをプロンプト・チューニングに統合することで,乳がんの検出のためのAIモデルの効率性と一般化が向上します.
• A-VPTは,医学イメージングにおけるディープラーニングモデルと人間の解剖学的推論の間の解釈可能なリンクを提供します.