医療AIにおける意図と実行の乖離：現実世界の臨床パフォーマンス評価のためのReXecutionフレームワーク

科学分野:

• 医療における人工知能
• 放射線科情報学
• 臨床意思決定支援システム

背景:

• 医療AIアシスタントの現在のベンチマークは、臨床的関連性を欠いていることがよくあります。
• 現実世界の臨床ワークフローを反映した堅牢な評価フレームワークが必要です。

研究 の 目的:

• 臨床医中心の医療AI評価のためのReXecutionフレームワークを導入すること。
• 現実的な臨床設定における胸部X線写真（CXR）解釈におけるAIアシスタントの信頼性を評価すること。

主な方法:

• CXR解釈のための専門家キュレーションによる100のタスクのデータセットを開発しました。
• これらのタスクに対する2つの基盤モデル（ChatGPTo3、MedGemma）のパフォーマンスを個別にレビューしました。
• 画像解釈とタスク実行における精度に基づいてAIのパフォーマンスを評価しました。

主要な成果:

• 評価された両方のAIモデルは、顕著な医学的知識を示しましたが、画像解釈とタスク実行に苦労しました。
• 症例のわずか5〜10％で正しい出力が得られ、信頼性が低いことを示しています。
• 放射線科の概念の抽象的な理解と、特定の医療画像における信頼性の高い実行との間に、重大な不一致が観察されました。

結論:

• 現在の医療AIアシスタントは、医療画像の解釈と臨床タスクの正確な実行において重大な制限があります。
• ReXecutionフレームワークは、AIの概念的知識とその放射線科における実践的な応用の間のギャップを明らかにします。
• 効果的なAIと臨床医の協力のためには、将来のAI開発と評価は、現実世界の臨床医のニーズとより密接に一致する必要があります。