DAMON: Difference-Aware Medical Visual Question Answering via Multimodal Large Language Model

科学分野:

• 医療画像分析
• ヘルスケアにおける人工知能
• マルチモーダル機械学習

背景:

• 差分認識型医療画像質問応答（MVQA）は、疾患進行の追跡や治療計画に不可欠です。
• 現在の医療マルチモーダル大規模言語モデル（MLLM）は、差分認識型MVQAにおける一般化に苦労しています。
• 既存のデータセットは単一疾患に限定されており、複数の疾患を伴う複雑な臨床シナリオを捉えることができません。

研究 の 目的:

• 複数の疾患にわたる差分認識型MVQAのための大規模データセットDAMON-QAを導入すること。
• 新しい差分認識型医療画像質問応答（DAMON）モデルを提案すること。
• 医療画像における視覚的差異の分析におけるMLLMのパフォーマンスを向上させること。

主な方法:

• 既存の単一疾患データセットの限界に対処するためにDAMON-QAデータセットを開発しました。
• 差分認識型MVQAのためにDAMON-QAでトレーニングされたDAMONモデルを提案しました。
• 疾患の特定と差分分析を改善するために、疾患駆動型プロンプトモジュール（DPM）を導入しました。

主要な成果:

• DAMONモデルはMIMIC-Diff-VQAベンチマークで最先端（SOTA）のパフォーマンスを達成しました。
• DAMON-QAデータセットは、多疾患併存と症状の重複のモデリングを容易にします。
• DPMは、複雑な医療画像入力における疾患差分分析を効果的にガイドします。

結論:

• DAMONモデルとDAMON-QAデータセットは、差分認識型MVQAにおける重要な進歩を表しています。
• この研究は、医療画像分析における複雑な多疾患シナリオを処理するMLLMの能力を向上させます。
• この発見は、より正確な疾患進行評価を通じた臨床的意思決定の改善に影響を与えます。