基于代理的大型语言模型系统,用于从乳腺癌综合报告中提取结构化数据:双重验证研究
Steven N Hart1, Teya S Bergamaschi2
1Department of Laboratory Medicine and Pathology, Mayo Clinic, Rochester, MN 55901, United States.
JAMIA open
|February 27, 2026
概括
大型语言模型 (LLM) 显示出提取乳腺癌病理学数据的前景,但现实世界的性能落后于合成测试. 人类监督对于临床部署至关重要.
科学领域:
- 人工智能在医学中的应用
- 计算病理学计算病理学
- 在医疗保健中的自然语言处理.
背景情况:
- 乳腺癌病理学报告包含临床决策的关键结构化数据.
- 从病理学报告中手动提取数据是耗时且容易出现错误的.
- 大型语言模型 (LLM) 提供了从临床文本中自动提取结构化数据的潜力.
研究的目的:
- 开发和验证一种基于代理的LLM系统,用于从乳腺癌综合病理学报告中提取结构化数据.
- 评估基于LLM的数据提取的合成和现实世界的验证之间的性能差距.
- 为了比较七个领先的LLMs在这个任务上的表现.
主要方法:
- 开发了一个基于人工智能代理的模块化框架,使用顺序专业的LLMs.
- 美国病理学家学院 (CAP) 标准化了癌症协议,将其分为8个部分,86个子部分和229个离散领域.
- 使用合成 (864个案例) 和真实世界 (90个报告,6651个字段) 数据集验证了七个LLM.
主要成果:
- 合成验证显示了高精度 (93.8%-99.0%).
- 现实世界评估显示,业绩大幅下降 (回顾:61.8%-87.7%),表明存在"现实差距".
- 双子-2.5-pro实现了最高的现实世界召回率 (87.7%);较小的模型 (例如,14B参数Deepseek-R1) 的表现具有竞争力.
结论:
- 合成验证本身就提供了误导性的高可靠性.
- 现实世界的性能恶化突显了临床文档的复杂性.
- 由于性能差距,强制性人体验证是必不可少的;LLM作为选工具是最好的.
