从诊断报告中自动提取结构化数据的开放权重语言模型和检索增强生成:方法和参数的评估
Mohamed Sobhi Jabal1, Pranav Warman2, Jikai Zhang3,4
1Department of Radiology, Duke University Hospital, 2301 Erwin Rd, Durham, NC 27710.
Radiology. Artificial intelligence
|March 12, 2025
概括
具有检索增强生成 (RAG) 的开放权重语言模型 (LM) 可以准确地从放射学和病理学报告中提取结构化数据. 精心调整的LM和快速工程是医疗保健报告中最佳性能的关键.
科学领域:
- 人工智能在医学中的应用
- 在医疗保健中的自然语言处理.
背景情况:
- 非结构化的临床报告对数据提取构成了挑战.
- 需要自动化系统来有效处理放射学和病理学报告.
研究的目的:
- 开发和评估一个自动化系统,从非结构化报告中提取结构化临床信息.
- 评估语言模型 (LM) 和检索增强生成 (RAG) 配置对提取性能的影响.
主要方法:
- 使用放射学 (BT-RADS得分) 和病理学 (IDH突变状态) 报告数据集的回顾性研究.
- 开发了一个自动化管道来对各种LM和RAG配置进行基准测试.
- 系统评估模型大小,定量化,提示和推理参数的影响.
主要成果:
- 在BT-RADS得分方面达到高达98%的准确性,在IDH突变状态方面达到>90%.
- 医疗微调的Llama 3表现最好;更大,更新,域微调的模型表现优于旧/小的模型.
- 少数射击引发了显著提高的准确性;RAG增强了复杂的病理学报告提取.
结论:
- 使用RAG开放的LM显示了保护隐私的潜力,从临床报告中提取自动结构化数据.
- 谨慎的模型选择,快速工程和数据驱动的优化对于性能至关重要.


