在口腔和面外科的董事会考试中GPT-4的表现:专业问题的挑战
Felix Benjamin Warwas1, Nils Heim2
1Department for Oral and Maxillofacial Surgery, University Clinic Bonn, Venusberg Campus 1, 53127, Bonn, Germany. fbwarwas@icloud.com.
Oral and maxillofacial surgery
|May 30, 2025
概括
GPT-4显示了口腔和面外科 (OMFS) 董事会考试问题的潜力,总体得分准确率为62%. 绩效不同,在一般主题中表现出色,但在专门的外科领域有限,这表明需要在OMFS教育中进一步开发AI.
科学领域:
- 人工智能在医学中的应用
- 医疗教育 技术 技术 医学教育
- 口腔和牙面部外科手术
背景情况:
- 像GPT-4这样的大型语言模型 (LLM) 在各种医疗领域都显示出了前景.
- 在专门的董事会考试中评估AI的表现对于理解它们的教育实用性至关重要.
研究的目的:
- 评估GPT-4在回答口腔和面外科 (OMFS) 董事会考试问题的准确性.
- 确定GPT-4对OMFS知识库的优势和弱点.
主要方法:
- 从OMFS问题库中随机选择了250个多选题.
- 评估了GPT-4的答案在各种OMFS主题的准确性.
- 使用统计分析来比较不同学科的表现.
主要成果:
- 在OMFS董事会考试问题上,GPT-4取得了62%的整体准确率.
- 在药理学 (92.8%),解剖学 (73.3%) 和粘膜病变 (70.8%) 中,准确度最高.
- 在牙科植入物 (37.5%),骨头外科手术 (38.5%) 和重建手术 (42.9%) 中观察到最低的精度.
结论:
- GPT-4在一般的OMFS主题中表现出能力,但在专门的外科领域有显著的局限性.
- 为了在先进的OMFS医学教育中有效应用,需要进一步改进AI模型.
- GPT-4可以作为学习OMFS的补充工具,但不能取代全面的学习.
