检索增强生成提高了放射学本地LLM质量,对比媒体咨询
Akihiko Wada1, Yuya Tanaka2,3, Mitsuo Nishizawa4,5
1Department of Radiology, Juntendo University Graduate School of Medicine, 2-1-1 Hongo, Bunkyo-ku, Tokyo, 113-8421, Japan. a-wada@juntendo.ac.jp.
检索增强生成 (RAG) 显著增强了放射学咨询的本地大语言模型 (LLM),减少了错误,提高了速度,同时保护了患者的隐私. 这一进步有助于AI在医疗保健中的临床部署.
科学领域:
- 医疗信息学 医疗信息学
- 人工智能在医学中的应用
- 放射学 放射学是一门学科.
背景情况:
- 大型语言模型 (LLM) 在医疗保健方面表现有前途,但面临隐私问题和有限的医疗培训等障碍.
- 临床采用LLM受到数据安全和对专业医疗知识的需求的阻碍.
研究的目的:
- 评估是否可以提取增强生成 (RAG) 可以增强本地部署的LLM用于放射学对比媒体咨询.
- 评估RAG增强的LLM与基于云的模型在临床环境中的性能.
主要方法:
- 与Llama 3.2-11B (基线和RAG增强) 与GPT-4o mini,Gemini 2.0 Flash和Claude 3.5 Haiku在100个合成对比媒体咨询中进行了比较.
- 利用盲人放射科医生的排名和基于LLM的法官对准确性,安全性,结构,音色,适用性和延迟进行评分.
主要成果:
- RAG消除了幻觉 (0% vs 8%) 并提高了平均排名1.3 (p < 0.001).
- 增强RAG模型的速度更快 (2.6s vs 4.9-7.3s),并被LLM法官比GPT-4o mini更喜欢.
- 与云模型的性能差距持续存在,尽管放射科医生将GPT-4o mini排名更高.
结论:
- RAG为当地的临床LLM提供了显著的改进,提高了准确性并减少了幻觉.
- RAG保留了医疗保健AI的本地部署的隐私优势.
- 需要进一步的研究来弥合与领先的基于云的模型的性能差距.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
13:21Preparation, Purification, and Characterization of Lanthanide Complexes for Use as Contrast Agents for Magnetic Resonance Imaging
Published on: July 21, 2011
相关概念视频
Imaging Studies III: Computed Tomography
Imaging Studies V: Intravenous Urography and Retrograde Pyelography
Imaging Studies VII: Vascular Imaging
