评估ChatGPT是否可以回答与OrthoInfo相比常见的患者问题,关于旋转手套撕裂
Alexander Jurayj1, Julio Nerys-Figueroa, Emil Espinal
1From the Department of Orthopaedic Surgery, Henry Ford Hospital, Detroit, MI.
概括
与专家来源相比,ChatGPT提供了不那么准确和适当的患者关于旋转手套撕裂的信息. 虽然简单的语言提高了可读性,但它牺牲了至关重要的准确性,使其不适合作为独立的患者资源.
科学领域:
- 医疗保健中的人工智能
- 医疗信息传播 医疗信息传播
- 整形外科患者教育
背景情况:
- 越来越多地使用像ChatGPT这样的AI聊天机器人,需要评估它们对患者特定医疗信息的可靠性.
- 旋转手套撕裂是常见的骨科疾病,需要清楚和准确的患者理解,以有效管理.
- 评估人工智能产生的医疗内容的质量对于患者安全和知情决策至关重要.
研究的目的:
- 评估ChatGPT对有关旋转手套撕裂的常见患者查询的答案的准确性,适当性和可读性.
- 为了比较ChatGPT在标准和简化 (六年级) 阅读水平的表现,与已建立的医疗信息来源进行比较.
主要方法:
- 八个关于旋转部撕裂的患者问题被提出给ChatGPT.
- 响应是在两个设置中生成的:标准和六年级阅读水平.
- 五位整形外科医生对反应的准确性和适当性进行了评价;可读性使用弗莱什-金凯德等级水平进行了评估.
主要成果:
- 标准的ChatGPT响应被评为比六年级水平响应更准确和适当 (P < 0.001).
- 然而,标准和六年级的ChatGPT反应都不如OrthoInfo的信息准确和适当 (P <0.016).
- 与OrthoInfo和六年级响应相比,标准ChatGPT响应显示出更高的Flesch-Kincaid等级水平 (P < 0.001).
结论:
- 在标准设置中,ChatGPT提供了不那么准确和适当的信息,可读性比专家检查的旋转部撕裂来源差.
- 简化ChatGPT的输出到六年级的阅读水平会损害准确性和适当性,尽管提高了可读性.
- 聊天GPT不建议作为唯一的患者信息来源旋转手套撕裂,但可能补充外科医生提供的指导.
