生成型大语言模型对比同行用户的答案质量,用于解释实验室测试结果的客户:评估研究

科学领域:

• 医疗保健中的人工智能
• 医疗信息的自然语言处理.
• 患者教育 技术 技术

背景情况:

• 患者很难理解通过患者门户获得的实验室测试结果.
• 在线论坛和问答网站为健康问题提供不可靠的同行建议.
• 大型语言模型 (LLM) 为面向患者的健康信息提供了潜在的解决方案.

研究的目的:

• 评估使用LLM来生成对实验室测试问题的患者友好的答案的可行性.
• 评估LLM生成答案的相关性,准确性,有用性和安全性.
• 确定问题并探索增强策略,以提高LLM响应质量.

主要方法:

• 从雅虎收集了53个与实验室测试相关的问答对! 答案 答案 答案 答案 答案 答案
• 使用五个LLM (GPT-4,GPT-3.5,LLaMA 2,MedAlpaca,ORCA_mini) 通过LangChain和ChatGPT生成的响应.
• 使用标准指标和基于LLM的评估器评估了响应相似性;医学专家手动审查了响应的相关性,正确性,有用性和安全性.

主要成果:

• GPT-4的答案与参考答案的相似性最高,优于其他LLM和人类答案.
• 医学专家的评估证实了GPT-4在所有评估的方面都表现出卓越的表现:相关性,正确性,有用性和安全性.
• 法律学的回复有时缺乏上下文解释,含有不准确性,并省略了参考文献.

结论:

• GPT-4在对患者关于实验室结果的查询产生准确,有用,相关和安全的响应方面表现出卓越的表现.
• 尽管有优势,GPT-4反应可能不准确或缺乏个性化,突出需要进一步改进.
• 诸如即时工程,增强,检索增强生成和响应评估等策略可以提高LLM响应质量.