基于大型语言模型的在线人工智能聊天平台在回答患者关于心力衰竭的问题时的准确性和一致性

科学领域:

• 人工智能在医学中的应用
• 数字健康数字健康
• 患者教育 患者教育

背景情况:

• 心力衰竭 (HF) 是一种常见的疾病,导致患者患病率显著.
• 患者经常有敏感的问题,或者在接受医疗保健提供者的反应方面面临延迟,这会影响健康行为.
• 人工智能 (AI) 聊天平台提供了一个潜在的途径,以补充以患者为中心的护理.

研究的目的:

• 为了评估大语言模型 (LLM) AI聊天平台在回答患者关于心力衰竭的问题上的准确性和一致性.
• 评估AI在补充心力衰竭患者以患者为中心的护理方面的潜力.

主要方法:

• 从患者论坛和医生专业知识中生成了30个与心力衰竭 (HF) 相关的问题.
• 两个基于LLM的AI平台,ChatGPT-3.5和Bard,回答了生成的问题.
• 高频专家独立评估了人工智能生成的答案的准确性和一致性.

主要成果:

• 聊天GPT为90%的问题提供了准确的答案,一致性为93%.
• 在77%的问题上,巴德的答案被认为足够.
• 专家对答案质量的一致意见是ChatGPT的83%,Bard的67%.

结论:

• 基于LLM的AI聊天平台显示了增强心力衰竭 (HF) 患者教育和赋权的潜力.
• 当前的人工智能平台表现出事实上的不准确性和挑战,并提供最新的建议.
• 解决这些不准确性至关重要,以减轻对患者健康的潜在风险,需要进一步研究.