探索ChatGPT作为提供骨科信息的补充工具的潜力
Janina Kaarre1,2, Robert Feldt3, Laura E Keeling4
1Department of Orthopaedic Surgery, UPMC Freddie Fu Sports Medicine Center, University of Pittsburgh, Pittsburgh, USA. janina.kaarre@gu.se.
概括
像ChatGPT这样的大型语言模型 (LLM) 显示出作为骨科知识的补充工具的希望,特别是前十字带 (ACL) 手术信息. 然而,由于潜在的不准确性,它们不能取代骨科外科医生的专业知识.
科学领域:
- 整形外科手术 整形外科手术
- 人工智能在医学中的应用
- 医疗教育 技术 技术 医学教育
背景情况:
- 大型语言模型 (LLM) 正在快速发展,并显示出医学应用的潜力.
- 评估LLM在骨科等专业领域的实用性对于了解其能力和局限性至关重要.
研究的目的:
- 评估ChatGPT (GPT-4) 在响应前十字带 (ACL) 手术查询时的准确性,完整性和适应性.
- 评估当针对不同受众量身定制的LLM的表现:患者和非骨科医生.
主要方法:
- 聊天GPT对20个前十字带 (ACL) 手术主题进行了查询.
- 针对两个不同的目标受众产生了回复:患者和非骨科医生.
- 四名整形体育医学外科医生使用三分级评价回应的正确性,完整性和适应性.
主要成果:
- 在患者和医生两种受众中,ChatGPT的平均正确性得分为2分之1.6-1.7左右.
- 整体完整度得分从1.51到1.64不等,适应性得分在1.73-1.75.5左右.
- 15%的问题得到了错误的答案从LLM.
结论:
- 像ChatGPT这样的LLM可以为ACL手术信息生成一般正确的响应,展示作为补充教育工具的潜力.
- 虽然可以适应不同的受众,但ChatGPT在骨科领域的理解和错误潜力的当前局限性意味着它不能取代专业外科医生的专业知识.
