评估ChatGPT4.0与ChatGPT3.5在手术自我评估考试中的表现:对基于图像的问题表现的比较分析
Kiera L Vrindten1, Megan Hsu1, Yuri Han1
1Department of Orthopaedic Surgery, Rutgers Robert Wood Johnson Medical School, New Brunswick, USA.
Cureus
|February 17, 2025
概括
在手术图像问题上,ChatGPT4.0和ChatGPT3.5的表现相似. 聊天GPT4.0提供了更长的解释,但表达了更少的信心,特别是与X线图.
科学领域:
- 医疗教育中的人工智能
- 医疗教育 技术 技术 医学教育
- 外科培训和评估的外科.
背景情况:
- 像ChatGPT这样的人工智能 (AI) 平台在医疗教育中越来越多地用于居民考试准备.
- 人工智能的进步需要在专业医疗知识中评估新版本的准确性,例如ChatGPT4.0.
- 这项研究专门检查了ChatGPT4.0与其前身ChatGPT3.5在基于图像的手术问题上的性能.
研究的目的:
- 为了比较ChatGPT4.0和ChatGPT3.5在手术中基于图像的自我评估问题上的表现.
- 与ChatGPT3.5.5相比,评估ChatGPT4.0对视觉输入的解释能力.
- 评估二次结果,包括解释长度,频率和人工智能生成答案的信心水平.
主要方法:
- 使用了美国手术协会 (ASSH) 的10项自我评估考试 (2004-2013).
- 在455个基于图像的问题上,比较了ChatGPT4.0和ChatGPT3.5的性能.
- 通过描述性统计和统计测试 (学生的t测试,ANOVA) 分析了总分,解释特征和答案信心.
主要成果:
- 在基于图像的问题上,ChatGPT4.0 (30.1%正确) 和ChatGPT3.5 (28.7%正确) 的总得分没有统计学上显著的差异 (p=0.805).
- 聊天GPT4.0总体上提供了更长的解释 (p<0.05),但对其答案的信心显著下降 (p<0.05).
- 基于X射线图像的ChatGPT4.0显示了最高的不确定性 (p<0.001).
结论:
- 在基于图像的手术评估问题上,ChatGPT4.0和ChatGPT3.5的准确性相似.
- 聊天GPT4.0的不确定性增加,特别是在放射图像中,需要进一步调查.
- 了解AI反应影响对于优化AI在临床和教育环境中的整合至关重要.
