医学AI的意图-执行断开:用于评估现实世界的临床性能的reXecution框架

科学领域:

• 人工智能在医学中的应用
• 放射学 信息学 信息学
• 临床决策支持系统 临床决策支持系统

背景情况:

• 目前对医疗人工智能助理的基准通常缺乏临床相关性.
• 需要强大的评估框架,反映现实世界的临床工作流程.

研究的目的:

• 引入ReXecution框架,用于以临床医生为中心的医学AI评估.
• 在现实的临床环境中,评估AI助手在胸部X射线 (CXR) 解释中的可靠性.

主要方法:

• 开发了一个由100个专家策划的CXR解释任务的数据集.
• 在这些任务上手动审查了两个基础模型 (ChatGPTo3,MedGemma) 的性能.
• 根据图像解释和任务执行的准确性评估AI性能.

主要成果:

• 评估的两种人工智能模型都表现出了重要的医学知识,但在图像解释和任务执行方面遇到了困难.
• 只有5-10%的案例产生了正确的输出,这表明可靠性很低.
• 在对放射学概念的抽象理解和对特定医学图像的可靠执行之间观察到一个关键的不匹配.

结论:

• 目前的医疗人工智能助理在解释医疗图像和准确执行临床任务方面存在重大限制.
• ReXecution框架揭示了AI的概念知识与其在放射学中的实际应用之间的差距.
• 未来的AI开发和评估必须更紧密地与现实世界的临床医生需求保持一致,以实现有效的AI-临床医生合作.