从电子健康记录中进行可扩展的药物提取和停药识别,使用大型语言模型
Chong Shao1, Douglas Snyder2, Chiran Li2
1Division of Pharmacoepidemiology and Pharmacoeconomics, Department of Medicine, Brigham and Women's Hospital, Harvard Medical School, Boston, MA, USA; Harvard T.H. Chan School of Public Health, Harvard University, Boston, MA, USA.
大型语言模型 (LLM) 在提取药物信息和从电子健康记录 (EHR) 识别停药方面表现有前途. 开源的LLM为药物安全监测提供了可扩展的,保护隐私的替代方案.
科学领域:
- 医疗保健中的人工智能
- 临床数据的自然语言处理.
- 药监和患者安全 药监和患者安全
背景情况:
- 在电子健康记录 (EHR) 中识别药物停用对于患者安全至关重要.
- 非结构化的临床说明往往掩盖了重要的药物状况信息.
- 需要自动提取方法来克服手动审查的局限性.
研究的目的:
- 评估先进的开源和专有大型语言模型 (LLM) 在从EHR笔记中提取药物信息和分类停止状态时的性能.
- 评估LLM在没有人类注释的情况下提取药物信息的可扩展性.
- 为此任务比较不同的LLM提示策略 (零射击,少数射击,思维链).
主要方法:
- 收集并策划了三个不同的EHR数据集 (Re-CASI,MIV-Med,MGB-Med) 用于基准评估.
- 评估了12个LLM,包括一般领域的开源 (例如Llama-3.1-70B-Instruct),医疗特定和专有 (GPT-4o) 模型.
- 在药物提取,状态分类和使用零射击,5射击和思维链提示的联合任务中比较性能.
主要成果:
- 在药物提取方面,LLM表现出强的表现,其中GPT-4o获得了最高的F1得分 (94.0%).
- 停止分类和联合任务更具挑战性,GPT-4o分别达到78.1%和72.7%的F1分数.
- 像Llama-3.1-70B-Instruct这样的开源模型具有竞争力的表现,偶尔会超过GPT-4o,突出了它们对隐私敏感研究的潜力.
- 短暂的学习通常会提高表现,而链式思维推理则会产生不一致的收益.
结论:
- 从EHR笔记中,LLM具有自动化药物提取和停药识别的巨大潜力.
- 开源的LLM为临床研究的专有模型提供了可扩展和隐私意识的替代方案.
- 需要进一步开发和验证,但这些工具可以增强药物安全监测和临床决策支持.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
07:50A Metadata Extraction Approach for Clinical Case Reports to Enable Advanced Understanding of Biomedical Concepts
Published on: September 20, 2018
相关概念视频
Model Approaches for Pharmacokinetic Data: Distributed Parameter Models
The distributed parameter models are specifically designed to account for variations and differences in some drug classes. This model is particularly useful for assessing regional concentrations of anticancer or...
Clearance Models: Physiological Models
The organ's clearance rate depends on the blood flow to the organ and the extraction ratio (E). The extraction ratio describes the organ's...
Analysis of Population Pharmacokinetic Data
