关于尼泊尔本科医学执照考试的ChatGPT-4的表现:一个跨部门研究
Prajjwol Luitel1, Sujan Paudel1, Devansh Upadhya1
1Maharajgunj Medical Campus, Institute of Medicine, Tribhuvan University, Kathmandu, Nepal.
Journal of medical education and curricular development
|October 9, 2025
概括
在尼泊尔的医疗执照考试中,ChatGPT (GPT-4) 取得了87.8%的准确率,表现与医学毕业生相提并论. 虽然总体上很强大,但逻辑推理问题带来了挑战,表明在医学教育应用中需要仔细考虑的领域.
科学领域:
- 人工智能在医学中的应用
- 医疗教育 技术 技术 医学教育
- 全球卫生教育全球卫生教育
背景情况:
- 在国际医疗执照考试中,ChatGPT表现出很高的表现.
- 有限的研究存在于低收入国家的医疗执照考试中人工智能的表现.
- 尼泊尔在国家医疗执照考试中失败率高,面临重大挑战.
研究的目的:
- 评估在尼泊尔医学委员会执照医学考试 (NMCLE) 上ChatGPT (GPT-4) 的表现.
主要方法:
- 使用NMCLE-2024年5月数据集 (892个选择题) 评估了ChatGPT (GPT-4).
- 将ChatGPT的反应与经验丰富的临床医生的反应进行了比较.
- 利用描述性统计和回归分析来识别与错误反应相关的因素.
主要成果:
- 聊天GPT (GPT-4) 的准确率达到87.8% (892个问题中有783个正确).
- 在需要逻辑推理的问题上观察到更高的错误率 (OR 14.7).
结论:
- 聊天GPT-4的表现与尼泊尔许可证考试中的医学毕业生相匹配或超过.
- 逻辑推理问题代表了一个局限性,在AI应用中需要谨慎.
- 需要进一步的研究来探索ChatGPT作为尼泊尔教育工具的潜力.
更多相关视频
13:44Project-Based Learning Guidelines for Health Sciences Students: An Analysis with Data Mining and Qualitative Techniques
Published on: December 9, 2022
4.2K
05:04Author Spotlight: Evaluating Clinicians' Adoption of Ultrasound-Guided Vascular Cannulation Through Simulation Training
Published on: August 9, 2024
1.4K
