在全球医疗执照考试中,ChatGPT在不同版本中的表现:系统审查和元分析
Mingxin Liu1, Tsuyoshi Okuhara2, XinYi Chang3
1Department of Health Communication, Graduate School of Medicine, The University of Tokyo, Tokyo, Japan.
Journal of medical Internet research
|July 25, 2024
概括
在医疗执照考试中,GPT-4的准确性高于GPT-3.5,但由于性能不一致和准确性限制,两者都没有为医学教育做好准备.
科学领域:
- 医疗教育中的人工智能
- 在医疗保健中的自然语言处理.
- 机器学习用于医学许可证考试
背景情况:
- 在不同的版本和设置中,ChatGPT在医疗许可证考试中的表现有很大差异.
- 缺乏对这些性能变化的全面了解.
- 这项研究解决了对ChatGPT在医学教育方面的能力进行详细分析的需要.
研究的目的:
- 在2024年3月之前,系统地审查和分析有关ChatGPT在医疗执照考试中的表现的研究.
- 为医疗教育背景中人工智能表现提供全面的概述.
- 引导教育工作者,政策制定者和技术专家在医学教育中明智使用AI.
主要方法:
- 在Web of Science,PubMed和Scopus的系统文献搜索 (2022年1月 - 2024年3月).
- 两个独立作者对包含/排除标准进行了选.
- 使用诊断准确性研究质量评估数据提取和质量评估-2.
- 进行了定性和定量分析.
主要成果:
- GPT-4实现了81%的准确性,显著超过了GPT-3.5 (58%).
- GPT-4通过了26/29的考试,在13/17个案例中表现优于医学学生.
- 提示工程和翻译改善了GPT-3.5的性能;GPT-4从提示中受益,但没有翻译. 在英语国家,GPT-4的表现更好. 绩效因问题类型 (MCQ与开放式) 和难度而有所不同.
结论:
- GPT-4显示了医学教育应用的巨大潜力.
- 目前的局限性包括不充分的准确性和不一致的性能.
- 不同的国际医疗政策和知识基础的挑战,使人无法立即适应医学教育.


