胃肠道学教育中的人工智能:DeepSeek通过了胃肠道学委员会的考试,并超过了传统的聊天GPT模型
Andrew F Ibrahim1, Pojsakorn Danpanichkul2, Alexander Hayek1
1School of Medicine, Texas Tech University Health Sciences Center, Lubbock, Texas, USA.
The American journal of gastroenterology
|May 20, 2025
概括
深度搜索人工智能模型在胃肠病学委员会考试中表现出合格的表现,超过了旧版本的ChatGPT. 虽然有效,但DeepSeek在医学教育的专业领域和图像分析方面存在局限性.
科学领域:
- 人工智能在医学中的应用
- 医疗教育 技术 技术 医学教育
- 胃肠病学培训 胃肠病学培训
背景情况:
- 以前的AI模型,包括传统的ChatGPT离线版本,在胃肠病学委员会考试中表现不够好.
- 这项研究旨在评估DeepSeek的表现,这是一个新的AI模型,在这种情况下.
研究的目的:
- 评估DeepSeek基础R1模型和搜索增强版本在胃肠病学委员会考试模拟中的有效性.
- 将DeepSeek的性能与已建立的线下ChatGPT模型进行比较.
主要方法:
- 美国胃肠病学学院的自我评估,包括455个问题,被用来评估DeepSeek模型.
- 对于基本R1和搜索增强R1深度搜索模型,记录了性能指标.
主要成果:
- 深度搜索模型超过了胃肠病学委员会考试的通过门.
- 搜索增强型的DeepSeek获得了81.5%的准确率,而基本的R1模型得分为77.1%.
- 两个DeepSeek版本显著超过了线下ChatGPT-3 (65.1%) 和ChatGPT-4 (62.4%) (P < 0.001).
结论:
- 在模拟的胃肠病学委员会考试中,DeepSeek表现出了合格的表现.
- 确定的局限性包括利基主题领域的差距和图像排除的有限实用性.
- 在DeepSeek被视为补充教育工具之前,建议专家进一步验证.
