HF-VLP：心不全診断のためのマルチモーダルビジョン言語事前学習済みモデル

科学分野:

• 医療における人工知能
• 医療画像解析
• ヘルスケアのための自然言語処理

背景:

• 心不全（HF）の発生率の増加は、高度な診断ツールを必要としています。マルチモーダルビジョン言語事前学習は、医療診断に有望です。課題には、医療データセットのノイズの多いラベルと、効率的なモデル適応の必要性が含まれます。

研究 の 目的:

• 心不全検出を改善するためのマルチモーダルビジョン言語事前学習済みモデル（HF-VLP）を開発すること。ノイズの多いラベルの問題に対処し、臨床応用のためのモデル効率を向上させること。包括的な患者評価のために胸部X線写真と放射線科レポートデータを融合すること。

主な方法:

• 心不全のためのマルチモーダルビジョン言語事前学習済みモデルであるHF-VLPを開発しました。事前学習中にノイズの多いラベルを軽減するために、ラベルキャリブレーション損失を実装しました。パラメータの1％未満で効率的なファインチューニングのために、分解された特異値重み分解低ランクアダプテーション（PEFT）を利用しました。動的融合グラフモジュールを介して胸部X線写真と放射線科レポートの特徴を統合しました。

主要な成果:

• マルチモーダル予測において、Open-Iデータセットで平均AUC 83.67％、PPL-CXRデータセットで91.28％を達成しました。パラメータ効率の良いファインチューニング手法は、ゼロショットと比較して診断率を向上させました。患者の症状の正確な分類を示し、臨床診断を支援しました。

結論:

• HF-VLPは、心不全診断のためにマルチモーダル医療データを効果的に統合します。開発された手法は、ノイズの多いラベルや効率的な適応を含む、医療事前学習における主要な課題に対処します。このモデルは、心不全の早期かつ正確な診断において臨床医を支援する大きな可能性を示しています。