一个大型语言模型选工具,以针对患者提供最佳实践警报:开发和验证
Thomas Savage1, John Wang2, Lisa Shieh1
1Division of Hospital Medicine, Department of Medicine, Stanford University, Palo Alto, CA, United States.
JMIR medical informatics
|November 27, 2023
概括
大型语言模型 (LLM) 可以选患者的最佳实践警报 (BPA),提高警报的准确性. 这种AI工具可以识别适合深静脉血栓塞 (DVT) 预防的患者,减少不必要的警报并提高护理.
科学领域:
- 人工智能在医学中的应用
- 临床决策支持系统 临床决策支持系统
- 自然语言处理自然语言处理.
背景情况:
- 最佳实践警报 (BPA) 是电子健康记录信息,用于指导医生实践和资源利用.
- 目前的BPA通常是非选择性的,警示了广泛的患者群体.
- 大型语言模型 (LLM) 提供了针对BPA的选择性患者鉴定的潜力.
研究的目的:
- 展示基于LLM的查工具,用于识别适合深静脉血栓症 (DVT) 的患者.抗凝血预防BPAs.
- 开发一种人工智能工具,将有活跃出血的患者排除在DVT预防警报之外.
主要方法:
- 一个BioMed-RoBERTa模型在500个MIMIC-III患者笔记上进行了微调,以对医生笔记进行活跃出血的分类.
- 该模型将没有活跃出血的患者确定为DVT预防的适当候选人.
- 用300份患者笔记的测试组来评估AI选工具的性能.
主要成果:
- 人工智能选工具实现了0.82的精确回忆AUC和0.89.89的ROC AUC.
- 该工具减少了20%的警报数量,并增加了14.8%的警报适用性.
- 在300名患者中,有72人出血,228人适合DVT预防BPA.
结论:
- 法律法规可以作为BPA的有效选工具,证明概念的证明.
- 部署了一个符合HIPAA的BioMed-RoBERTa模型,使用最小的计算资源.
- 未来的LLM预计将大大推进医院医学的质量改善举措.
