临床大型语言模型和机器学习的比较评估,以预测医院发作的败血症中的抗菌素耐药性
Scott A Cohen1, Ziyi Chen2, Jiang Bian3
1Department of Epidemiology, University of Florida, Gainesville, FL, USA.
概括
大型语言模型 (LLM) 在预测抗菌素耐药性 (AMR) 方面表现有前途,特别是耐甲基金色葡萄球菌 (MRSA),在医院发作的败血症预测中表现优于传统的机器学习模型.
科学领域:
- 医疗信息学 医疗信息学
- 计算生物学 计算生物学
- 传染性疾病 传染性疾病
背景情况:
- 抗菌素耐药性 (AMR) 构成重大威胁,特别是在重症患者中.
- 有效的实证抗微生物治疗指导对于管理感染至关重要,特别是随着AMR率的上升.
- 对于AMR的预测模型是需要临床采用,需要可扩展性和通用性.
研究的目的:
- 将临床大语言模型 (LLM) 与传统机器学习 (ML) 的性能进行比较,用于预测AMR和抗甲素黄金葡萄球菌 (MRSA).
- 评估电子健康记录 (EHR) 数据在疾病发病时对在医院发作的败血症中早期AMR和MRSA预测的有用性.
- 评估LLM在指导抗微生物疗法的潜力,在流行AMR的背景下.
主要方法:
- 利用公开的临床LLM (Gatortron) 和传统的ML模型.
- 分析了大约15万次住院治疗 (2010-2023) 的EHR数据,这些数据来自一个大型的三级医疗保健系统.
- 专注于医院发作的败血症队列 (2,019次) 来预测AMR和MRSA的存在.
主要成果:
- 与传统的ML模型相比,LLM在预测MRSA方面表现优越 (AUC为0.73比0.66).
- 在MRSA预测方面,LLM获得了显著更高的F1得分 (0.43对ML的0.16).
- 在大多数感染类型中,LLM在MRSA预测方面实现了至少90%的负预测值.
结论:
- 临床LLM显示出使用EHR数据对AMR和MRSA的早期预测具有重大潜力.
- 法律法规提供了一种有前途的方法来指导实证抗菌疗法,即使是简化的特征集.
- 基于LLM的预测模型需要进一步改进,以提高灵敏度和临床适用性,以便广泛采用.
