从使用大型语言模型的常规临床笔记中预测最初的类似发作后的发作复发:一个回顾性队列研究
Brett K Beaulieu-Jones1, Mauricio F Villamar2, Phil Scordis3
1Department of Medicine, University of Chicago, Chicago, IL, USA; Department of Biomedical Informatics, Harvard Medical School, Boston, MA, USA.
The Lancet. Digital health
|November 24, 2023
概括
机器学习模型,特别是大型语言模型,可以有效地预测儿童在第一次类似发作事件后的发作复发. 医生笔记显著提高了预测准确度,有助于更好的诊断和管理.
科学领域:
- 儿科神经学 儿科神经学
- 人工智能在医学中的应用
- 临床决策支持 临床决策支持
背景情况:
- 儿童首次类似发作的事件由于未观察到的发作和潜在的发作模仿而带来诊断挑战.
- 准确预测发作的复发对于适当的管理和减少患者焦虑至关重要.
研究的目的:
- 评估机器学习模型在预测儿科患者最初的类似发作事件后发作复发的有效性.
- 将传统机器学习模型的性能与先进的自然语言处理技术进行比较,包括大型语言模型.
主要方法:
- 一项回顾性队列研究,利用来自波士顿儿童医院的电子病历 (EMR) 和来自IBM MarketScan的行政索赔数据.
- 逻辑回归,XGBoost和大型语言模型 (LLM) 的比较,用于对复发的预测建模.
- 根据ICD-CM代码,包括在21岁之前被诊断患有或的患者.
主要成果:
- 具有特定领域预训练的大型语言模型 (LLM) 在预测发作复发方面表现出卓越的表现 (F1得分0.826,AUC0.897).
- 所有的LLM,包括基础模型,都超过了在结构化数据上训练的传统机器学习模型.
- 使用结构化EMR数据的XGBoost模型显示了与在行政索赔数据上训练的模型相似的结果.
结论:
- 医生的临床笔记包含了对发作复发的有价值的预测信号.
- 特定领域和特定位置的预培训显著提高了专业儿科队伍临床LLM的表现.
- 机器学习,特别是LLM,提供了一种有希望的方法来改善儿童复发的预测.
