比较基于生成和检索的聊天机器人在回答患者关于与年龄相关的黄斑变性和糖尿病视网膜病变问题的问题

科学领域:

• 医疗保健中的人工智能
• 眼科和视觉科学 眼科和视觉科学
• 医疗信息学 医疗信息学

背景情况:

• 关于与年龄相关的黄斑变性 (AMD) 和糖尿病视网膜病变 (DR) 的患者询问是常见的.
• 评估聊天机器人响应的准确性对于患者教育和信息传播至关重要.
• 生成型人工智能模型为医疗信息传递提供了新的可能性.

研究的目的:

• 将生成聊天机器人的性能与基于检索的聊天机器人的性能进行比较,以回答患者关于AMD和DR的问题.
• 评估不同AI模型提供的答案的准确性和质量.

主要方法:

• 一项横截面研究评估了四个聊天机器人:ChatGPT-4,ChatGPT-3.5,谷歌巴德 (生成) 和OcularBERT (基于检索).
• 聊天机器人回答了45个特定领域的问题 (15个AMD,15个DR,15个其他问题).
• 答案由三个蒙面视网膜专家在3分利克特级别上进行评分,共识分类为"好"",边缘"或"差"质量.

主要成果:

• 聊天GPT-4和聊天GPT-3.5获得了最高的中位数得分 (6/6) 并分别获得了83.3%和86.7%的"好"评分.
• 谷歌巴德得分为4.5/6 (50%的"好"),而OcularBERT得分为2/6 (10%的"好").
• 与谷歌Bard (6.7%) 和OcularBERT (20%) 不同,ChatGPT模型没有产生"糟糕"的响应.

结论:

• 生成式聊天机器人,特别是ChatGPT-4和ChatGPT-3.5,在回答专业眼科问题方面表现出卓越的性能.
• 这些模型显示出超出初始培训数据的领域特定查询答案的潜力.
• 在临床实施这些AI工具之前,需要进一步验证.