聊天GPT可以通过土耳其骨科和创伤学委员会考试吗? 土耳其整形外科医生与人工智能对抗
Çağdaş Pamuk1, Abdullah Faruk Uyanık2, Ersin Kuyucu1
1Department of Orthopedics and Traumatology, Private Silivri Anadolu Hospital, İstanbul-Türkiye.
概括
人工智能,特别是ChatGPT,在土耳其骨科和创伤学委员会考试中表现明显优于候选人. 这种人工智能模型的得分高于98.7%的人类参与者,在理论知识评估中证明了其潜力.
科学领域:
- 医学教育 医学教育
- 人工智能在医学中的应用
- 整形外科手术 整形外科手术
背景情况:
- 人工智能 (AI) 在全球医学检查中取得了成功.
- 土耳其骨科和创伤学委员会考试 (TOTBE) 评估基本的骨科知识.
- 在专业医疗委员会考试中评估AI表现至关重要.
研究的目的:
- 评估ChatGPT在TOTBE的书面部分的表现.
- 将ChatGPT的分数与人类候选人的分数进行比较.
- 为了确定ChatGPT是否符合考试的通过门.
主要方法:
- 使用了回顾性观察性研究设计.
- 分析了四年来TOTBE的400个公开可用的问题.
- 聊天GPT的表现与627名参赛候选人的平均分数进行了比较.
主要成果:
- 聊天GPT的得分超过了98.7%的候选人 (627人中有619人).
- 聊天GPT始终在2020-2023年期间的考试中取得的得分明显高于平均成功率 (p<0.05).
- 9%的分析问题包含数字,表明视觉和基于文本的评估混合在一起.
结论:
- 聊天GPT在TOTBE评估的理论知识方面表现出高度熟练.
- 人工智能模型在书面考试中明显超过了大多数人类考生.
- 虽然人工智能在理论评估方面表现出色,但在临床实践中,整合实践和理论知识的人类因素仍然至关重要.
