在骨科培训考试 (OITE) 上,比较ChatGPT plus (4.0版本) 和预训练的AI模型 (Orthopod)
Matthew L Magruder1, Michael Miskiewicz2, Ariel N Rodriguez1
1Department of Orthopaedic Surgery, Maimonides Medical Center, Brooklyn, NY, USA.
概括
标准的ChatGPT-4和定制的人工智能模型,Orthopod,在整形外科培训考试问题上进行了测试. 这两种人工智能系统都表现出熟练,正确回答了70%以上的问题,这表明它们有可能成为居民的教育工具.
科学领域:
- 医疗教育中的人工智能
- 医疗保健中的大型语言模型
- 整形外科手术培训班 整形外科手术培训班
背景情况:
- 像ChatGPT这样的大型语言模型 (LLM) 在标准化考试上显示了可变的性能.
- 整形外科培训考试 (OITE) 是居民的关键评估.
研究的目的:
- 在OITE上比较标准ChatGPT-4和定制训练的ChatGPT模型 (Orthopod) 的性能.
- 评估人工智能在回答骨科手术董事会式问题的有效性.
主要方法:
- 利用了来自AAOS-ResStudy网站的2022年OITE实践问题.
- 将问题干和媒体 (作为PNG) 上传到标准的ChatGPT-4和Orthopod.
- 记录了正确或不正确的答案,并使用描述性统计数据分析了业绩.
主要成果:
- 聊天GPT-4正确回答了73.43% (152/207) 的问题.
- 整形医生正确回答了71.01% (147/207) 的问题.
- 根据媒体包含或问题类别,没有观察到显著的绩效差异.
结论:
- 聊天GPT-4和Orthopod都在OITE实践问题上取得了很高的准确率.
- 人工智能模型提供了充分推理和支持的答案,表明了它们作为教育资源的潜力.
- 这些人工智能系统可以帮助骨科住院医生为董事会考试做准备.


