揭示人工智能在整形外科教育中的潜力:对领先的人工智能平台在培训中的考试表现进行比较研究
Nicole DiDonna1, Pragna N Shetty2, Kamran Khan2
1From the School of Medicine, University of North Carolina, Chapel Hill, N.C.
Plastic and reconstructive surgery. Global open
|June 24, 2024
概括
人工智能 (AI) 聊天机器人在整形外科教育中表现有前途. 聊天GPT-4.0在整形外科现役培训考试 (PSITE) 中表现最高,而其他AI聊天机器人表现不佳.
科学领域:
- 医学教育 医学教育
- 人工智能的人工智能
- 进行外科手术培训.
背景情况:
- 人工智能 (AI) 聊天机器人正在作为潜在的教育工具获得关注.
- 虽然ChatGPT在整形手术考试中表现适度,但其他AI平台的教育实用性是未知的.
研究的目的:
- 为了比较七个流行的AI聊天机器人在整形外科教育中的有效性.
- 评估人工智能聊天机器人的性能在整形外科现役培训考试 (PSITE).
主要方法:
- 测试了七个人工智能平台 (ChatGPT-3.5,ChatGPT-4.0,谷歌巴德,谷歌PalM,微软的Bing AI,克劳德,我的AI).
- 使用2019-2023年PSITE评估性能,并分析了准确性和错误类型.
主要成果:
- 聊天GPT-4.0实现了高达79%的准确性,在2023年PSITE的第一年居民中排名第95百分位.
- 高级居民的ChatGPT-4.0的相对性能下降了 (六年级居民的第12个百分位).
- 其他人工智能聊天机器人在PSITE上平均得分在48.6%至57.0%之间.
结论:
- 聊天GPT-4.0显示潜在的AI教育工具在整形外科.
- 由于性能差,建议在整形外科教育中使用其他AI聊天机器人时谨慎使用.
- 这项研究是第一个比较多个AI聊天机器人在整形外科教育中的研究.
