在OKAP考试中改善ChatGPT-4的性能:与ChatGPT-3.5进行比较研究
Sean Teebagy1, Lauren Colwell1, Emma Wood1
1Department of Ophthalmology and Visual Sciences, UMass Chan Medical School, Worcester, Massachusetts.
Journal of academic ophthalmology (2017)
|September 13, 2023
概括
在眼科知识评估计划 (OKAP) 考试中,ChatGPT-4显著超过了ChatGPT-3.5,证明了AI.
科学领域:
- 人工智能在医学中的应用
- 眼科 教育 技术 眼科 教育 技术
背景情况:
- 人工智能 (AI) 语言模型正在迅速发展.
- 在专门的医学知识评估中评估AI性能至关重要.
研究的目的:
- 为了比较ChatGPT-4和ChatGPT-3.5在眼科知识评估计划 (OKAP) 考试中的表现.
- 评估用于医学知识评估的AI语言模型的进展.
主要方法:
- 评估了两个人工智能模型,即ChatGPT-4和ChatGPT-3.5.
- 测试中使用了OKAP考试中的180个实践问题,涵盖了各种眼科主题.
- 性能通过每个模型的准确度得分来衡量.
主要成果:
- 在OKAP问题上,与ChatGPT-3.5 (57%) 相比,ChatGPT-4的准确率 (81%) 在OKAP问题上显著提高 (p <0.001).
- 这表明AI评估专业眼科知识的能力得到了大幅改善.
结论:
- 与其前身相比,ChatGPT-4在眼科知识评估方面表现优越.
- 这些发现表明,先进的人工智能模型在眼科教育和临床决策支持方面的潜在应用.
- 需要进一步的研究来优化AI整合到医疗培训和实践中.


