在电子健康记录中识别神经传染病患者的机器学习方法:算法开发和验证

科学领域:

• 计算医学
• 医疗信息学
• 自然语言处理 (NLP)

背景情况:

• 使用计费代码识别神经传染病 (NID) 是不准确的,手动图表审查是劳动密集的.
• 机器学习 (ML) 可以分析非结构化电子健康记录 (EHR) 的微妙NID指标,提高效率并减少错误分类.
• 准确的NID分类对于研究和临床决策支持至关重要,但使用非结构化的注释仍然未得到充分探索.

研究的目的:

• 开发和验证一种ML模型,用于从非结构化的患者笔记中识别NID.
• 将NLP模型的性能与ICD计费代码和大型语言模型 (LLM) 进行比较.
• 评估模型在不同医疗机构中的通用性.

主要方法:

• 一个极端梯度增强 (XGBoost) 模型被训练在3000个临床笔记从大众医院布里格姆 (MGB).
• 使用n-gram表示 (n=1,2,3) 处理笔记,通过L1规范化进行特征选择.
• 使用AUROC和AUPRC进行性能评估,并根据Beth Israel Deaconess医疗中心 (BIDMC) 的数据进行外部验证.

主要成果:

• 在MGB测试数据上,NLP模型实现了AUROC为0.98和AUPRC为0.89,平衡了特异性 (0.96) 和灵敏度 (0.84).
• ICD计费码显示高灵敏度 (0.97),但特异性较差 (0.59),而Llama 3.2的特异性有所改善 (0.94),但灵敏度较低 (0.64).
• 在外部BIDMC数据 (AUROC 0.98,AUPRC 0.78) 上,NLP模型保持强的表现.

结论:

• 根据临床记录,NLP模型准确地识别了NID病例,证明了NID大规模研究的可行性.
• 该模型在两个独立的医院数据集中的表现凸显了其对队列生成的潜力.
• 建议进行进一步的外部验证,以提高这些发现对其他机构的通用性.