在欧洲和美国使用ChatGPT 4.0进行手术认证考试的比较

科学领域:

• 整形外科 整形外科 整形外科
• 医学教育 医学教育
• 人工智能的人工智能

背景情况:

• 在手术中获得认证需要在欧洲 (EBHS) 和美国 (HSE) 进行子专业检查.
• 实践考试被用来做准备,但EBHS和HSE考试之间的难度级别还没有很好地确立.

研究的目的:

• 为了比较EBHS和HSE实践考试中的多选择题 (MCQ) 的难度.
• 评估ChatGPT 4.0在这些实践考试中的表现,以评估问题难度.

主要方法:

• 在5次尝试中,ChatGPT 4.0回答了94个MCQ (34个EBHS,60个HSE),不包括视觉问题.
• 绩效被量化和定性地分析,在反后跟踪得分的改善.

主要成果:

• 在第五次尝试时,ChatGPT的准确性从EBHS的59%提高到71%,并在HSE上达到97%.
• 欧洲的MCQ表现出更大的困难,对ChatGPT的准确性改进有限 (<50%),而HSE问题显示出更好的学习.
• 这些发现支持了EBHS MCQ比HSE实践考试问题更具挑战性的假设.

结论:

• 欧洲手术认证MCQ比美国HSE实践考试更具挑战性.
• 由于MCQ难度的差异,人们对国际外科手术认证标准的协调表示担忧.
• 像ChatGPT这样的AI工具可以帮助标准化评估,但目前的性能低于人类专家水平.