动态关键性指数的外部评估:一种机器学习模型,用于预测住院儿科患者未来需要的ICU护理需求

科学领域:

• 临床信息学 临床信息学
• 预测分析在医疗保健中的应用
• 儿科医院医药 儿科医院医药

背景情况:

• 未来护理地点的预测模型对于资源配置和患者管理至关重要.
• 基于多机构数据开发的动态关键性指数 (CI-D) 模型旨在预测患者护理轨迹.
• 这些多机构模型对个别临床场所的通用性需要验证.

研究的目的:

• 评估先前存在的动态关键性指数 (CI-D) 模型的性能,从多机构数据中得出的,在预测单个儿科机构内的未来护理地点.
• 评估 CI-D 模型在使用特定地点数据重新开发时预测准确度的改善,同时保持相同的变量和建模技术.
• 分析各种未来时间框架 (6-30小时) 的预测性表现.

主要方法:

• 采用预后研究设计,将多机构CI-D模型与机构特定的CI-D模型进行比较.
• 这项研究利用了2018年1月至2020年2月期间通过急诊室入院的儿科住院患者的电子健康记录数据.
• 模型性能使用接收器操作特征曲线 (AUROC) 下的区域和精度回调曲线 (AUPRC) 下的区域进行了评估.

主要成果:

• 多机构CI-D模型在单个站点数据集中表现不佳,AUROC在0.493-0.545之间,AUPRC在0.262-0.299.
• 相比之下,用单个地点数据重新开发的CI-D模型实现了显著更高的预测准确性,显示AUROC为0.906-0.944和AUPRC为0.754-0.824.
• 预测转移的具体准确性是:常规转移到ICU的72.6%-81.0%,常规转移到ICU的58.2%-76.4%,具有0.95的灵敏度/特异性.

结论:

• 从多机构数据开发的动态关键性指数 (CI-D) 模型可能无法有效地将其推广到个别临床环境中.
• 建议使用特定地点数据重新开发CI-D模型,以提高未来护理地点的预测准确度.
• 在临床部署之前,地方验证和预测模型的潜在重新开发至关重要,以确保最佳性能和患者护理.