从使用大型语言模型的临床笔记中算法识别治疗出现的不良事件:在炎症性肠病中的试点研究
像UCSF BERT这样的大型语言模型 (LLM) 在从临床注释中检测严重不良事件 (SAE) 的准确性得到改善. 这一进步增强了在炎症性肠病 (IBD) 治疗中的药物安全监测.
科学领域:
- 药监和药物安全 药监和药物安全
- 临床自然语言处理 临床自然语言处理
- 炎症性肠病 (IBD) 研究研究
背景情况:
- 门诊临床笔记包含有价值的药物安全数据,但文本挖掘的限制阻碍了它们在药物监督中的使用.
- 从临床文本中检测不良事件的现有方法具有方法上的局限性.
- 大型语言模型 (LLM) 在自然语言处理方面表现有前途,但需要对不良事件检测进行评估.
研究的目的:
- 适应和评估临床的LLM,UCSF BERT,以确定与IBD患者的非类固醇免疫抑制剂相关的严重不良事件 (SAE).
- 将UCSF BERT与其他语言模型在检测与毒品相关的SAE中的性能进行比较.
- 通过使用真实世界的临床数据,评估LLM在加强药监监管方面的实用性.
主要方法:
- 适应UCSF BERT,临床LLM,用于在IBD门诊病人的笔记中检测SAE.
- 附注 928 IBD注释关于与非类固醇免疫抑制剂使用相关的SAE,包括住院治疗.
- 将UCSF BERT的表现与其他8种候选模型进行比较,以确定药物-SAE对.
主要成果:
- 在识别药物-SAE对方面,UCSF BERT实现了最高的性能,准确度为88-92%,宏观F1得分为61-68%.
- 该模型的准确性比之前公布的模型高出5-10%.
- 在检测因药物使用而出现的住院病例方面,UCSF BERT显著优于其他模型 (p < 0.01).
结论:
- 与以前的方法相比,LLM,特别是UCSF BERT,在临床笔记中对SAE检测提供了数值上更高的准确性.
- 这些发现支持LLM的潜力,可以显著增强药监工作.
- 未来的研究应该专注于多中心数据和像GPT这样的先进架构,以进一步提高这个领域的LLM性能.
更多相关视频
05:47Evidence-based Knowledge Synthesis and Hypothesis Validation: Navigating Biomedical Knowledge Bases via Explainable AI and Agentic Systems
Published on: June 13, 2025
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
相关概念视频
Drugs for Treatment of Crohn's Disease in IBD Using Biologic Agents: Anti-TNF
Drugs for Treatment of Crohn's Disease in IBD Using Immunomodulatory Agents
Inflammatory Bowel Disease IV: Pharmacological Management
Pharmacologic...
Drugs for Treatment of Ulcerative Colitis in IBD
Inflammatory Bowel Disease II: Crohn's Disease
Inflammatory bowel disease, commonly known as IBD, refers to a collection of disorders that lead to persistent inflammation of the gastrointestinal tract. The two types of IBD are ulcerative colitis, which impacts the colon, and Crohn's disease, which can involve any part of the gastrointestinal segment.
Crohn's disease
Crohn's disease is a chronic, systemic inflammatory bowel disease (IBD) that predominantly affects the gastrointestinal tract. It is marked by...
Inflammatory Bowel Disease III: Diagnostic Studies and Management I-Nutritional Therapy
Diagnostic studies
A colonoscopy is the definitive screening test, distinguishing ulcerative colitis from other colon diseases with similar symptoms. During a colonoscopy test, inflamed mucosa with exudate ulcerations can be observed, and biopsies are taken to determine the histologic characteristics of the...
