对ChatGPT4和PaLM2对患者关于与年龄相关的黄斑退化问题的反应进行了定性评估
George Adrian Muntean1, Anca Marginean2, Adrian Groza2
1Department of Ophthalmology, "Iuliu Hatieganu" University of Medicine and Pharmacy, Emergency County Hospital, 400347 Cluj-Napoca, Romania.
Diagnostics (Basel, Switzerland)
|July 27, 2024
概括
像ChatGPT4和PaLM2这样的大型语言模型可以为与年龄相关的黄斑变性 (AMD) 患者提供有价值的信息. 然而,由于潜在的不准确性,他们的建议应该补充,而不是取代医生的指导.
科学领域:
- 眼科医生 眼科 眼科
- 医疗信息学 医疗信息学
- 人工智能的人工智能
背景情况:
- 患者的遵守对于管理慢性疾病,如与年龄相关的黄斑变性 (AMD) 至关重要.
- 有信息的患者更有可能坚持治疗和生活方式的改变.
- 大型语言模型 (LLM) 在各种医疗应用中表现有前途.
研究的目的:
- 评价ChatGPT4和PaLM2在回答 AMD 患者常见问题的能力.
- 为了比较LLM产生的建议与眼科医生的反应.
主要方法:
- 整理了来自AMD患者网站的143个常见问题.
- 将问题转化为场景,由ChatGPT4,PaLM2和三个眼科医生回答.
- 根据六个标准 (临床共识,伤害,推理,理解,检索,缺失内容) 评估了LLM答案,使用五分利克特级别.
主要成果:
- 在所有标准上,ChatGPT4表现出很高的表现,在临床共识方面达到88%以上,在危害可能性方面达到97%以上.
- PaLM2表现较低,特别是在临床共识中 (60.90%).
- 两种模型都提供了有价值的信息,但也显示了一些不完整或不准确的答案.
结论:
- 聊天GPT4和PaLM2是对患者在AMD管理方面的教育有价值的工具.
- 当与医生建议一起使用时,LLM可以增强患者的理解和遵守.
- 持续的局限性要求医疗保健专业人员仔细审查LLM生成的医疗信息.
