评估高级囊重建手术前患者教育的大型语言模型:克劳德,GPT和双子座的比较研究

科学领域:

• 人工智能在医学中的应用
• 自然语言处理应用程序
• 整形外科教育 整形外科教育

背景情况:

• 大型语言模型 (LLM) 在医疗保健中越来越多地用于患者教育.
• 提高手术前患者的理解对于手术结果至关重要.
• 高层囊重建 (SCR) 是一项复杂的骨科手术,需要明确的患者信息.

研究的目的:

• 评估不同LLM在为SCR提供手术前患者教育方面的有效性.
• 为了比较Claude-3-Opus,GPT-4-Turbo和Gemini-1.5-Pro的响应和生成的材料.
• 评估LLM产生的内容对患者理解和外科准备的适用性.

主要方法:

• 运动医学专家制定了11项与SCR相关的调查和3项患者教育策略.
• 三个LLM (Claude-3-Opus,GPT-4-Turbo,Gemini-1.5-Pro) 对文本命令做出了回应.
• 专家临床医生和术后患者使用标准化工具和可读性指标评估了LLM反应和教育材料.

主要成果:

• 与Claude-3-Opus和GPT-4-Turbo相比,Gemini-1.5-Pro在响应正确性,完整性和整体满意度方面得到了临床医生的显著更高的评分.
• 患者评价Gemini-1.5-Pro的教育材料在教育质量和整体满意度方面优越.
• 虽然LLM产生了可读的材料,但它们缺乏引用和讨论替代治疗或风险.

结论:

• 双子-1.5-Pro显示显著的承诺,以提高骨科手术的手术前患者教育.
• 目前的LLM需要专家监督,以确保全面和安全的患者信息,包括风险和替代方案.
• 需要进一步发展,以解决LLM产生的医学内容中引用和风险/替代披露的限制.