ReXVQA: 一般的な胸部X線画像理解のための大規模視覚質問応答ベンチマーク

科学分野:

• 放射線科と人工知能
• 医療画像分析
• ヘルスケアにおける自然言語処理

背景:

• 胸部放射線科における既存の視覚質問応答（VQA）ベンチマークは、テンプレートベースのクエリに依存することがよくあります。
• 多様で臨床的に本物の放射線科推論スキルを反映した包括的なベンチマークの必要性があります。

研究 の 目的:

• 胸部放射線科におけるVQAのための最大のベンチマークであるReXVQAを導入すること。
• 臨床的に関連性の高い放射線科タスクにおける最先端のマルチモーダル大規模言語モデル（LLM）のパフォーマンスを評価すること。
• AIのパフォーマンスと人間の専門放射線科医を比較すること。

主な方法:

• 694,481の質問と160,000の胸部X線画像研究でReXVQAを開発しました。
• 5つの主要な放射線科推論スキル（存在評価、位置分析、否定検出、鑑別診断、幾何学的推論）を含めました。
• 8つの最先端LLMを評価し、3人の上級放射線科レジデントとの人間読影者研究を実施しました。

主要な成果:

• 最高のモデルであるMedGemmaは、ReXVQAベンチマークで83.24%の全体精度を達成しました。
• MedGemmaは、読影者研究において、最高の人間読影者（77.27%の精度）を上回りました。
• AIモデルは、人間読影者とは異なるパフォーマンスパターンを示し、読影者間の一致率は様々でした。

結論:

• ReXVQAは、一般的な放射線科AIシステムを評価するための新しい標準を確立します。
• AIのパフォーマンスは現在、胸部X線画像解釈タスクにおいて人間の評価を超えており、これは重要なマイルストーンです。
• このベンチマークは、専門家レベルの臨床推論のための次世代AIシステムの開発を促進します。