通过检索增强生成改善生物医学中的大型语言模型应用:系统性审查,元分析和临床开发指南
Siru Liu1,2, Allison B McCoy1, Adam Wright1,3
1Department of Biomedical Informatics, Vanderbilt University Medical Center, Nashville, TN 37212, United States.
Journal of the American Medical Informatics Association : JAMIA
|January 15, 2025
概括
检索增强生成 (RAG) 在生物医学中显著改善了大型语言模型 (LLM),提高了1.35的概率比率. 未来的工作应该将RAG与代理人和电子健康记录集成在一起.
科学领域:
- 生物医学信息学是生物医学信息学.
- 医疗保健中的人工智能
背景情况:
- 大型语言模型 (LLM) 在生物医学中表现有前途,但需要提高准确性和可靠性.
- 检索增强生成 (RAG) 集成外部知识检索,以提高LLM的性能.
- 最近RAG和LLM的进展需要对临床应用的发现和实际指导方针进行综合.
研究的目的:
- 综合最近关于生物医学应用中检索增强生成 (RAG) 和大语言模型 (LLM) 的研究.
- 为提高RAG-LLM应用程序的有效性提供临床开发指南.
- 在临床环境中评估RAG与基线LLM相比RAG的性能改善.
主要方法:
- 从PubMed,Embase和PsycINFO获得2023-2024年发表的研究的系统文献综述.
- 对20项选定的研究进行元分析,比较基线LLM绩效与RAG增强的LLM绩效.
- 使用随机效应元分析模型,将赔率比作为效应大小,遵守PRISMA 2020指南.
主要成果:
- 包括最初的335项研究中的20项研究,重点关注临床任务和RAG实施.
- 表明统计学上显著的聚合效应大小为1.35 (95% CI: 1.19-1.53,P = .001).
- 在各种临床应用中,RAG的实施显示了与基线LLM相比的1.35的概率比率提高.
结论:
- 制定了关于在临床环境中使用RAG加强LLM应用程序的统一实施和开发的指导方针.
- 在生物医学背景下,RAG显著提高了LLM的表现,提供了1.35的赔率比率改善.
- 未来的研究方向包括将RAG与药物集成,深入知识集成,并将RAG嵌入电子健康记录中.
