大型语言模型准确地识别了重症监护病人的免疫抑制
Vijeeth Guggilla1, Mengjia Kang2, Melissa J Bak3
1Institute for Artificial Intelligence in Medicine, Northwestern University Feinberg School of Medicine, Chicago, IL 60611, United States.
Journal of the American Medical Informatics Association : JAMIA
|September 22, 2025
概括
与传统方法相比,大型语言模型 (LLM) 在从临床笔记中识别免疫抑制方面表现出卓越的准确性. 这一进步改善了用于研究的患者队列鉴定.
科学领域:
- 医疗信息学 医疗信息学
- 医疗保健中的人工智能
- 临床研究 临床研究
背景情况:
- 基于规则的算法和自然语言处理 (NLP) 等传统方法在从临床笔记中识别免疫抑制时,在准确性和概括性方面扎.
- 鉴定免疫抑制患者对于研究和临床管理至关重要.
研究的目的:
- 将大型语言模型 (LLM) 的性能与结构化数据算法和NLP方法进行比较,用于从非结构化临床笔记中识别免疫抑制.
- 评估LLM,特别是GPT-4o在识别免疫抑制疾病和药物的有效性.
主要方法:
- 使用了来自不同医疗中心的两个队列 (N=827和N=200) 的住院备忘录.
- 评估结构化数据算法,NLP方法和LLM (GPT-4o) 用于识别7种免疫抑制疾病和6种免疫抑制药物.
主要成果:
- 在所有评估的免疫抑制条件和药物中,LLM,特别是GPT-4o,超过了结构化数据算法和NLP方法.
- 在初级队列中,GPT-4o获得了高F1得分 (0.51-1),并在验证队列中表现出强的表现 (F1=1对8/13个变量).
- 结构化数据算法具有可变的性能 (F1 0.30-0.97),而NLP方法显示了广泛的范围 (F1 0-1).
结论:
- 大型语言模型 (LLM),以GPT-4o为例,比临床文本识别免疫抑制的现有方法提供了显著的改进.
- 在临床研究中,LLM提供了一种强大且经过验证的工具,用于增强患者队列识别.
