将GPT-4应用到整形外科实习培训考试中
Rohun Gupta1, John B Park2, Isabel Herzog2
1Division of Plastic Surgery, Department of Surgery, St. Louis University School of Medicine, St. Louis, MO, USA.
Journal of plastic, reconstructive & aesthetic surgery : JPRAS
|October 9, 2023
概括
在塑料外科实习培训考试 (PSITE) 中,生成式预训练型变压器 (GPT) -4获得了77.3%的准确率,证明了它作为塑料外科住院教育的可靠工具的潜力.
科学领域:
- 医疗教育中的人工智能
- 自然语言处理应用程序
- 手术培训技术手术培训技术
背景情况:
- 生成式预训练式变压器 (GPT) -4是最近在GPT-3.5上取得的进步,其可靠性和创造力得到了提高.
- 人工智能语言模型在医学研究生教育中的潜力需要彻底评估.
研究的目的:
- 评估GPT-4作为整形外科住院医生的教育工具的性能.
- 为了评估GPT-4在整形外科实习培训考试 (PSITE) 上的准确性.
主要方法:
- 来自2022年PSITE的样本问题被手动输入GPT-4.
- 分析了GPT-4反应的自然连贯性和准确性.
- 错误的答案被分为信息,逻辑或明确的谬误.
主要成果:
- 在242个问题中,GPT-4正确回答了187个问题,达到77.3%的准确率.
- GPT-4显示了高度利用内部 (98.3%) 和外部 (97.5%) 的信息,以及逻辑推理 (95.0%).
- 在GPT-4的逻辑推理应用中,在正确和不正确的答案之间观察到一个统计学上显著的差异.
结论:
- 与以前的版本相比,GPT-4显示出作为整形外科住院教育的更准确,更可靠的工具的承诺.
- 将GPT-4纳入教育课程可以提高居民的准备能力,并为高质量的患者护理做出贡献.
- 为推进医学教育,建议进一步探索像GPT-4这样的AI工具.
