从算法到手术室:大型语言模型能否掌握中国的麻醉学考试? 一个横截面评估

科学领域:

• 医学的人工智能
• 临床决策支持系统
• 医疗教育技术

背景情况:

• 大型语言模型 (LLM) 在复杂的临床推理中的性能在很大程度上仍未确立.
• 在标准化医疗评估中评估LLM对于了解其能力和局限性至关重要.
• 需要人工智能基准来指导LLM在医学教育和实践中的整合.

研究的目的:

• 将领先的LLM (ChatGPT和DeepSeek) 在具有挑战性的麻醉医生检查中的表现进行比较.
• 在医学评估中建立复杂的临床推理任务的AI基准.
• 为医疗教育和临床决策支持提供人工智能驱动工具的开发提供信息.

主要方法:

• 通过2025年中国麻醉学临床医生考试 (CAAPE) 问题库 (5,647个问题) 对四个LLM代 (GPT-3.5,GPT-4,DeepSeek-V3,DeepSeek-R1) 的横截面评估.
• 采用了多种不同的查询策略和语言,分组分析侧重于子专业,知识类型和问题格式.
• 性能指标包括准确性,错误类型和响应时间,特别关注临床和逻辑推理能力.

主要成果:

• 与DeepSeek-V3 (53. 1% - 55. 5%) 和GPT-3. 5 (52. 2% - 55. 7%) 相比,DeepSeek-R1 (70. 6% - 73. 4%) 和GPT- 4 (68. 6% - 70. 3%) 的性能表现优越.
• 在特定的提示条件下,DeepSeek-R1实现了最高精度 (73.4%).
• 所有模型在基础知识方面都表现出色,但在复杂的临床场景和高级推理方面却失败了,超过70%的错误是逻辑/信息错误,许多错误具有高风险.

结论:

• 在复杂的临床推理中,LLM具有前景,但在高风险的医疗场景中存在重大错误的风险.
• 虽然对医学教育和决策支持有价值,但在临床环境中部署之前,LLM的错误潜力需要严格评估.
• 需要进一步研究以减少LLM的错误率,并提高其在医疗保健中安全有效使用的可靠性.