MEGA-RAG:一个检索增强生成框架,具有多证据引导的答案精细化,用于减轻公共卫生中LLM的幻觉
Shan Xu1,2, Zhaokun Yan2, Chengxiao Dai2,3
1Shanghai Institute of Infectious Disease and Biosecurity, School of Public Health, Fudan University, Shanghai, China.
Frontiers in public health
|October 24, 2025
概括
我们开发了MEGA-RAG,这是一个新的框架,用于减少公共卫生的大型语言模型 (LLM) 中的幻觉. 这种人工智能方法显著提高了健康信息的事实准确性,提高了它在各种应用中的可靠性.
科学领域:
- 人工智能的人工智能
- 公共卫生信息学 公共卫生信息学
- 医疗信息学 医疗信息学
背景情况:
- 大型语言模型 (LLM) 在公共卫生中越来越多地使用.
- 在LLM"幻觉" (不准确的输出) 对临床沟通和政策构成风险.
- 确保人工智能生成的健康信息的真实准确性至关重要.
研究的目的:
- 提出和评估一个新的框架,MEGA-RAG,以减轻公共卫生的LLMs中的幻觉.
- 提高人工智能产生的健康信息的可靠性和医疗准确性.
- 提高人工智能在健康教育,临床沟通和政策制定方面的实用性.
主要方法:
- 开发了一个检索增强生成框架 (MEGA-RAG),包含多源证据检索 (FAISS,BM25,知识图).
- 使用交叉编码器重新排名器来确定语义相关性,以及对事实准确性的差异感知改进模块.
- 综合多证据指导的答案精细化,以提高输出量.
主要成果:
- 与基线模型相比,MEGA-RAG显示幻觉率减少了40%以上.
- 实现了最高精度 (0.7913),精度 (0.7541),回忆 (0.8304) 和F1得分 (0.7904) 的卓越性能.
- 它的表现优于独立的LLM,PubMedBERT,PubMedGPT和标准检索增强生成 (RAG).
结论:
- MEGA-RAG有效地产生了事实上可靠和医学上准确的反应.
- 该框架提高了人工智能产生的健康信息的可信度.
- MEGA-RAG是公共卫生领域的人工智能应用的有希望的解决方案,包括教育,临床沟通和政策.
