RadSearch,一个语义搜索模型,用于准确的放射学报告检索与大型语言模型集成
Cody H Savage1,2, Gunvant Chaudhari3, Andrew D Smith2,4
1Department of Diagnostic Radiology and Nuclear Medicine, University of Maryland School of Medicine, Baltimore, Md.
Radiology
|April 15, 2025
概括
一个新的语义搜索模型,RadSearch,显著改善了放射学报告的检索和诊断准确性,用于大型语言模型. 这种可扩展的方法通过超越现有模型在找到相关报告来增强临床信息的获取.
科学领域:
- 医疗信息学 医疗信息学
- 放射学中的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 目前的放射学报告搜索依赖于关键词,缺乏语义理解,导致错误的阳性.
- 开发语义搜索模型需要可扩展的方法来生成放射学特定的培训数据.
研究的目的:
- 开发一种可扩展的方法来训练放射学报告的语义搜索模型.
- 为了评估受过训练的模型的性能,RadSearch,用于临床应用.
主要方法:
- 使用可扩展的方法,从CT和MRI报告 (2021年12月-2022年1月) 中生成训练示例.
- RadSearch 在内部和外部测试集 (2015年12月至2023年6月) 中接受了培训和评估.
- 评估了报告检索,自由文本查询准确性和改进大型语言模型 (LLM) 诊断能力的性能.
主要成果:
- 在检索特定发现的报告时,RadSearch获得了83.0%的准确性,在匹配位置方面达到89.8%,明显超过了GTE大型模型 (P < .001).
- 与RadSearch集成提高了LLM诊断准确度,从30%提高到61% (P < .001),超过了GTE大型集成 (47%,P = .03).
- 培训套件包括16690份报告,测试套件从6178份报告到13958份报告.
结论:
- 一种可扩展的方法成功训练了一种最先进的放射学报告语义搜索模型.
- 在检索相关的临床信息和提高LLM诊断准确度方面,RadSearch表现出卓越的性能.
更多相关视频
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
15.7K
09:20Cloud-Based Phrase Mining and Analysis of User-Defined Phrase-Category Association in Biomedical Publications
Published on: February 23, 2019
8.6K
