使用基于人口的病理学报告验证大型语言模型,用于检测乳腺癌的病理完整反应
Ken Cheligeer1,2, Guosong Wu1,3, Alison Laws4,5
1The Centre for Health Informatics, Cumming School of Medicine, University of Calgary, Calgary, Canada.
BMC medical informatics and decision making
|October 4, 2024
概括
大型语言模型 (LLM) 在从乳腺癌病理报告中识别病理完整反应 (pCR) 时显示出高准确度. 医疗文档分析的这一进步有望改善患者护理和研究能力.
科学领域:
- 人工智能在医学中的应用
- 计算病理学计算病理学
- 医疗保健的自然语言处理.
背景情况:
- 准确识别病理完整反应 (pCR) 对于乳腺癌管理和治疗疗效评估至关重要.
- 手动审查复杂病理报告是耗时的,容易变化.
- 大型语言模型 (LLM) 提供了对非结构化临床数据的自动分析的潜力.
研究的目的:
- 评估LLM在理解和处理叙述病理学报告以识别pCR方面的能力.
- 将基于LLM的管道与传统机器学习模型的性能进行比较.
- 加强临床数据提取,以改善健康研究和患者护理.
主要方法:
- 在医疗保健计算环境中使用开源LLM开发了两个分析管道.
- 从351份乳腺癌病理报告中提取了嵌入的数据,使用了15个基于变压器的模型,随后进行了PCR分类的后勤回归.
- 精心调整了生成预训练变压器-2 (GPT-2) 模型,配备了前神经网络 (FFNN) 层,用于增强PCR检测.
主要成果:
- 优化的LLM管道实现了95.3%的灵敏度,90.9%的积极预测值和pCR识别的F1得分为93.0%.
- 与传统的机器学习模型相比,基于LLM的方法显示出更高的性能.
- 该研究强调了LLM在从叙事病理学报告中提取关键临床信息方面的潜力.
结论:
- 在解释数字病理学数据以确定乳腺癌患者经过新辅助化疗 (NAC) 后的pCR方面,LLM是有效的.
- 基于LLM的管道显示出临床数据提取和分析的重大前景,优于传统方法.
- 建议进行外部验证,以确认这些LLM方法在临床环境中的可靠性和广泛适用性.
