增强大型语言模型,提高医疗问答的准确性和安全性:比较研究

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 临床决策支持 临床决策支持

背景情况:

• 大型语言模型 (LLM) 对医疗保健有希望,但面临准确性和安全性的局限性.
• 当前的LLM与过时的知识扎,并且可以在临床环境中产生不可靠的信息.
• 提高LLM可靠性对于其在医疗保健中的采用至关重要.

研究的目的:

• 评估Med-RISE工具在提高医学问题答案的LLM准确性和安全性的有效性.
• 将Med-RISE的性能与不同医疗领域的基线大语言模型 (LLM) 进行比较.
• 评估Med-RISE对减少LLM产生的医学答案中的幻觉的影响.

主要方法:

• 开发了Med-RISE,一个检索增强生成框架,具有查询重写,实时信息检索,总结和事实/安全过器.
• 集成的Med-RISE与四个LLM (GPT-3.5,GPT-4,Vicuna-13B,ChatGLM-6B) 在一起.
• 评估了四个医学问题数据集 (MedQA,PubMedQA,MedMCQA,EYE500) 的性能,测量了准确性和幻觉率 (事实性和忠实性).

主要成果:

• 在数据集中,Med-RISE集成将LLM准确度提高了9.8%16.3% (平均13%).
• 精度改善为GPT-3.5的16.3%,GPT-4的12.9%,Vicuna-13B的13%,以及ChatGLM-6B的9.8%.
• Med-RISE使幻觉减少了11.8%18% (平均15.1%),事实幻觉减少了13.5%,忠诚度减少了5.8%.

结论:

• Med-RISE框架大大提高了LLM的准确性,并减少了医疗问题回答中的幻觉.
• 实时检索和过功能提高了医学LLM的可靠性和可解释性.
• Med-RISE为临床实践和决策支持系统提供了一个有希望的解决方案.