评估使用ChatGPT 3.5和Bard作为本科眼科短期答案问题的自我评估工具
Abhijeet M Khake1, Suvarna Gokhale2, Pradeep Dindore3
1Department of Ophthalmology, Pacific Medical College and Hospital, Udaipur, IND.
Cureus
|July 21, 2025
概括
聊天GPT 3.5和谷歌巴德显示眼科自我评估的承诺,ChatGPT 3.5略高于巴德的表现. 然而,由于显著的错误率,人工智能响应需要与教科书进行交叉引用.
科学领域:
- 医疗教育 技术 技术 医学教育
- 医疗保健中的人工智能
背景情况:
- 医学本科生需要眼科的有效自我评估工具.
- 像ChatGPT 3.5和Google Bard这样的人工智能 (AI) 工具为教育支持提供了潜在的潜力.
研究的目的:
- 为了评估ChatGPT 3.5和谷歌巴德对眼科短期答案问题 (SAQ) 的自我评估在医学本科生中的有效性.
主要方法:
- 根据基于能力的医学教育 (CBME) 课程选择和分类了261个眼科SAQ.
- 模拟答案是由眼科医生开发的.
- 人工智能工具 (ChatGPT 3.5,Bard) 产生了响应,这些响应由眼科医生独立评估其准确性,内容和相关性.
主要成果:
- 聊天GPT 3.5 实现了 88.8% 的准确性,而巴德得分为 87.5%,没有显著的整体差异.
- 在以任务为导向的问题上,ChatGPT 3.5表现优异.
- 这两种人工智能工具对大约20%的问题产生了不充分的答案,有时缺乏必要的信息.
结论:
- 聊天GPT 3.5和Bard可以提供精确的眼科SAQ答案,而聊天GPT 3.5在以任务为导向的问题上略有更有效.
- 由于误差率约为20%,人工智能生成的答案不应独立使用;与教科书交叉引用至关重要.
- 这些人工智能工具最适合在研究眼科的早期阶段快速检索信息.
