新型GPT-4在耳鼻喉科知识评估方面的表现
Lucy Revercomb1, Aman M Patel1, Daniel Fu1
1Department of Otolaryngology - Head and Neck Surgery, Rutgers New Jersey Medical School, 185 S Orange Ave Newark, Newark, NJ 07103 USA.
概括
在耳鼻喉科董事会问题上,GPT-4显著优于GPT-3.5. 一个定制的GPT-4模型,经过精确训练,显示出更高的准确性,这表明定制的人工智能模型可以增强医学教育.
科学领域:
- 人工智能在医学中的应用
- 医疗教育 技术 技术 医学教育
背景情况:
- 发电预训练变压器 (GPT) 模型,如GPT-3.5和GPT-4,在各种领域越来越多地使用.
- 与其前身GPT-3.5.5相比,GPT-4提供了增强的功能和定制选项.
- 评估AI在专业医疗知识上的表现对于理解它的实用性至关重要.
研究的目的:
- 为了比较GPT-4和GPT-3.5在耳鼻喉科的表现.
- 评估定制设计的GPT-4模型对问题的准确性的影响.
主要方法:
- 150个耳鼻喉科董事会式问题来自一个问题库.
- 问题由标准的GPT-4,一个定制的GPT-4模型和GPT-3.5.5.5回答.
- 绩效是根据正确回答问题的百分比来评估的.
主要成果:
- 标准GPT-4达到72.0%的准确率,而定制GPT-4达到81.3%的准确率.
- 在GPT-3.5中,只有51.3%的问题被正确回答.
- 与标准GPT-4相比,定制GPT-4的正确答案几率显著更高 (aOR为2.19,P=0.015).
结论:
- 对于耳鼻喉科的董事会式问题,GPT-4显示出比GPT-3.5更高的准确性.
- 一个定制的GPT-4模型,针对域优化,进一步提高了性能.
- 可定制的人工智能模型有可能推进医学教育和评估.
更多相关视频
06:04Systematic Hearing Performance Evaluation Process for Adolescents with Cochlear Implantation at Early Ages
Published on: March 24, 2023
340
13:12Translational Brain Mapping at the University of Rochester Medical Center: Preserving the Mind Through Personalized Brain Mapping
Published on: August 12, 2019
45.1K