大型语言模型在为患者提供基于证据的乳疾病教育方面的有效性:比较分析

科学领域:

• 人工智能在医学中的应用
• 医疗信息学 医疗信息学
• 患者教育 患者教育

背景情况:

• 大型语言模型 (LLM) 显示出患者教育的潜力,但它们在慢性疾病管理中的安全性和有效性尚未得到充分证实.
• 结核病需要终身管理,使得可靠的患者教育至关重要.

研究的目的:

• 进行首次对领先的LLMs (ChatGPT-4,Claude 3.7,Gemini 2.0) 进行比较评价,以教育患有腹腔疾病的患者.
• 评估AI模型的科学准确性,清晰性,错误信息和可读性.

主要方法:

• 使用盲目临床专家 (胃肠科医生,营养学家) 对三个LLM进行横截面评估.
• 四个领域的20个问题:一般理解,症状/诊断,饮食/营养和生活方式管理.
• 评估科学准确性,清晰度 (利克特尺度),错误信息率和可读性 (弗莱什-金凯德,SMOG).

主要成果:

• 与ChatGPT-4和Claude 3.7.7相比,双子座2.0显示出更高的科学准确性 (p=0.015) 和清晰度 (p=0.011).
• 双子座2.0表现出明显更好的可读性,需要2-3年少的教育才能理解 (p<0.001).
• 在所有模型中,错误信息率从13.3%到24.2%不等,没有统计学上显著的差异.

结论:

• 双子座2.0显示在精度,清晰度和可读性方面具有统计学上的显著优势,用于乳疾病教育.
• 关于错误信息率 (13.3-24.2%) 需要医疗保健提供者的监督直接患者应用人工智能工具.
• 人工智能可以支持患者教育,但需要进一步提高准确性以减轻风险.