聊天GPT在中国国家医疗执照考试中表现出色
Xinyi Wang1, Zhenye Gong1, Guoxin Wang1
1Department of Medical Education, Ruijin Hospital Affifiliated to Shanghai Jiao Tong University School of Medicine, 197 Ruijin Rd. II, Shanghai, 200025, China.
Journal of medical systems
|August 15, 2023
概括
一个大型语言模型ChatGPT在中国国家医疗执照考试 (NMLE) 中进行了测试,其表现低于医学学生. 进一步的深度学习可能会增强其医学知识和解释能力.
科学领域:
- 人工智能在医学中的应用
- 自然语言处理自然语言处理.
- 医疗教育 技术 技术 医学教育
背景情况:
- 像ChatGPT这样的大型语言模型 (LLM) 展示了先进的自然语言处理能力.
- 在标准化检查中评估AI的医学知识和解释能力,对于理解它们在医疗保健教育和实践中的潜力至关重要.
研究的目的:
- 为了比较ChatGPT与中国医学学生在国家医学执照考试 (NMLE) 的表现.
- 在高风险的医疗环境中评估ChatGPT的知识和解释能力.
主要方法:
- 聊天GPT接受了中国国家医疗执照考试 (NMLE) 的三年,包括四个单元.
- 来自ChatGPT的考试结果与五年制医学院学生的考试结果进行了比较.
主要成果:
- 聊天GPT在NMLE的整体表现低于医学学生的表现.
- 观察到ChatGPT的正确答案率与NMLE问题的年份之间存在相关性.
- 聊天GPT的知识和解释能力还没有与中国医学学生相匹配.
结论:
- 像ChatGPT这样的当前法学士学位还不能与中国训练有素的医学学生在医学许可证考试表现方面进行比较.
- 该研究强调了人工智能通过持续的深度学习和模型改进来提高医学知识和解释能力的潜力.
