医用画像分類における事前学習済みモデル適応のためのグラフ拡張ビジュアルプロンプティング

科学分野:

• 人工知能
• 医用画像
• コンピュータビジョン

背景:

• Vision Transformer（ViT）を医用画像に適合させることは、トレーニングと汎化に影響を与えるデータの制限と注釈の不足により、課題に直面しています。
• ビジュアルプロンプト学習は、パラメータ効率の良いドメイン適応を提供しますが、臨床現場では利用できないことが多いタスク固有の意味的ガイダンスが必要です。
• 効果的なプロンプト生成のために、既存の臨床データから信頼性の高い意味的キューを抽出するための自動化された方法が必要です。

研究 の 目的:

• 医用画像における意味的にリッチなプロンプトを生成するための新しいフレームワークであるグラフ拡張ビジュアルプロンプティング（GEVP）を導入すること。
• 医用アプリケーションにおけるVision Transformer（ViT）のプロンプト生成にクロスモーダルグラフ学習を統合すること。
• 特にデータが少ない環境において、堅牢な医用画像分析と疾患分類を可能にすること。

主な方法:

• GEVPは、画像パッチと臨床レポートトークンをグラフ構造のノードとしてモデル化します。
• グラフニューラルネットワークを使用して、これらのノード間の空間的および意味的関係を捉えます。
• 生成されたプロンプトは、広範なファインチューニングなしに診断的に関連性の高い領域への注意を導くために、凍結されたViTバックボーンに注入されます。

主要な成果:

• GEVPは、6つの公開医用画像データセットにおいて、既存のプロンプトベースおよびアダプターベースの手法と比較して優れたパフォーマンスを示しました。
• このフレームワークは、不均衡なタスクにおいてF1スコアを最大+9.65%向上させました。
• GEVPは、未知の疾患を分類する能力を高め、その汎化能力を強調しました。

結論:

• グラフ拡張ビジュアルプロンプティング（GEVP）は、プロンプト生成のためのクロスモーダルグラフ学習を活用することにより、医用画像におけるデータ不足を効果的に克服します。
• 提案された手法は、医用画像分析のためのVision Transformer（ViT）のパラメータ効率の良い適応を可能にし、診断精度を向上させます。
• GEVPは、レポートが存在する場合と存在しない場合の両方のシナリオに対して堅牢なソリューションを提供し、より広範な臨床導入への道を開きます。