临床大型语言模型中的知识实践绩效差距:对39个基准的系统审查

科学领域:

• 人工智能在医学中的应用
• 临床决策支持系统 临床决策支持系统
• 医疗信息学 医疗信息学

背景情况:

• 大型语言模型 (LLM) 在医疗执照考试中表现先进.
• 从基于知识的测试到临床实践的LLM能力的翻译还没有被充分理解.
• 在评估人工智能为现实世界的临床部署做好准备方面存在差距.

研究的目的:

• 系统地审查和分析医学LLM的基准.
• 将评估范式分类,并确定当前评估方法的局限性.
• 量化基于知识和基于实践的LLM评估之间的绩效差距.

主要方法:

• 在PROSPERO注册的系统审查 (CRD420251139729).
• 在MEDLINE/PubMed,Embase/Ovid,Cochrane图书馆和arXiv中搜索到2025年8月31日.
• 包括在LLM中评估临床医学基准的研究;不包括非医学领域或未经验证的基准.
• 使用混合方法评估工具评估方法质量;由于异质性,进行了叙事综合.

主要成果:

• 确定了39个医学LLM基准 (21个基于知识,15个基于实践,3个混合).
• 在基于知识的考试中,LLM的准确率达到84%-90%,但在基于实践的评估中仅为45%-69%.
• 性能因任务而异:事实检索 (85%-93%),临床推理 (50%-60%),诊断 (45%-55%) 和安全 (40%-50%).
• 26%的基准没有足够的方法报告.

结论:

• 在医疗人工智能领域存在着显著的"知识与实践差距",高考分数与临床能力无关.
• 考试成绩是对LLMs临床准备的不足和误导性指标.
• 自主部署目前没有理由;以实践为导向的验证和人类监督对于患者安全至关重要.