聊天GPT可以为患者提供关于骨科相关问题的答案吗? 聊天GPT和医疗支持人员之间的比较

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 患者参与技术的技术

背景情况:

• 患者参与平台和聊天功能可能会改善沟通,但有可能增加医疗保健专业人员的工作量和倦怠.
• 自然语言处理 (NLP) 的进步,包括像ChatGPT这样的大型语言模型 (LLM),提供类似人类的响应,但对医疗保健应用提出了担忧.
• 这项研究解决了评估LLM在响应患者查询方面的表现与人类支持人员相比的需要,重点是质量和同理心.

研究的目的:

• 为了评估ChatGPT产生的答案的质量和同理心,与人类支持人员相比,对患者关于下肢关节塑造的问题进行评估.
• 评估与人工智能产生的反应相关的不良事件风险.
• 了解医疗保健专业人员和患者的感知和识别AI产生的反应的准确性.

主要方法:

• 一项横截面研究涉及111名患者关于下肢关节整形手术的问题,支持人员和ChatGPT 3.5.5的回复.
• 由两名医疗保健专业人员 (骨科外科医生,麻醉师) 进行盲目评估,评估不良事件的质量,同理心和风险.
• 一个患者小组 (n=29) 对同情,偏好和响应源识别的评估.

主要成果:

• 聊天GPT和支持人员之间的响应质量没有显著差异 (p=0.075).
• 医疗保健专业人员 (p<0.001) 和患者小组 (p<0.001) 均认为,聊天GPT的反应显著更具同情心.
• 医生以84-90%的准确度识别了ChatGPT反应;然而,患者小组以34.5%的准确度识别了它们 (p=0.005). 三个ChatGPT响应包含高风险错误.

结论:

• 聊天GPT生成高质量和同情的响应患者关于下肢关节整形术的问题.
• 该研究强调了LLM在临床应用中的潜力,患者对同情心的高度赞赏.
• 需要进一步的研究来完善临床应用并解决潜在的风险,例如在某些响应中发现的高风险错误.