聊天GPT-4超越了居民:对塑料外科手术人工智能能力的研究 现役检查及其从ChatGPT-3.5的进步
Shannon S Hubany1,2, Fernanda D Scala2, Kiana Hashemi1,2
1From the University of Central Florida College of Medicine, Orlando, Fla.
Plastic and reconstructive surgery. Global open
|September 6, 2024
概括
生成式预训练变压器4 (GPT-4) 在整形外科现役检查中取得了74.4%的成功率,明显超过其前身GPT-3.5.5. 这种先进的AI模型展示了与经验丰富的外科住院医生可比的熟练程度.
科学领域:
- 人工智能在医学中的应用
- 医疗教育 技术 技术 医学教育
- 手术培训评估的评估
背景情况:
- 一个大型语言模型ChatGPT已经更新为生成预训练变压器4 (GPT-4).
- GPT-4已经接受了广泛数据集的培训,包括医疗信息.
- 这项研究评估了GPT-4在整形外科现役检查中的表现.
研究的目的:
- 将GPT-4在整形外科现役检查中的表现与国家医疗住院数据进行比较.
- 为了评估与以前版本的改进,使用ChatGPT-3.5.5.
- 为了对GPT-4在专业医疗领域的知识应用进行比较.
主要方法:
- 从整形外科现役检查 (2018-2023) 中分析了1292个多选题.
- 在GPT-4中逐字输入问题干和答案选择.
- 排除基于图像的,未得分的和不确定的问题.
主要成果:
- GPT-4正确回答了74.4%的问题,在全国范围内排在第61至97百分位之间.
- 性能因切口而异,在核心手术原理中准确度最高 (79.1%),在头骨面部 (69.1%) 最低.
- GPT-4的表现明显优于GPT-3.5 (74%对55.5%的准确率),并且表现出与六年级综合居民相当的熟练程度.
结论:
- GPT-4在应用医学知识方面取得了实质性的进展,超过了早期的住院医生.
- 人工智能的表现表明,在医学知识获取方面,AI的发展轨迹正在迅速发展.
- GPT-4的功能表明,它有可能成为外科教育和评估中的补充工具.
