多机构数据集对机器学习预测模型在ICU中的通用性的影响

科学领域:

• 关键护理医学 关键护理医学
• 医疗保健中的人工智能
• 临床信息学是一种临床信息学.

背景情况:

• 深度学习 (DL) 模型为在重症监护室 (ICU) 早期检测不良事件提供了潜在的潜力.
• 评估这些模型在以前未见的临床环境中的现实世界的可转移性,对于它们的广泛采用至关重要.

研究的目的:

• 评估DL模型的通用性,训练用于早期不良事件检测,当应用于新医院时.
• 调查多源培训数据或特定的可通用性优化技术是否能提高不同机构的模型性能.

主要方法:

• 以后视的队列研究,使用来自欧洲和美国四个公共数据集的协调ICU数据.
• 评估DL模型用于预测成年ICU患者的死亡率,急性损伤 (AKI) 和败血症.
• 使用多中心与单中心培训数据对模型性能下降和缓解策略的系统评估.

主要成果:

• 在死亡率,AKI和败血症培训医院内,DL模型实现了高性能 (AUROC 0.749-0.869).
• 当模型应用于新医院时,观察到显著的绩效下降 (在AUROC中高达-0.200).
• 使用多个数据集 (多中心模型) 的训练有效地减少了性能差距,匹配了最好的单中心模型的性能.

结论:

• 多样化和多中心培训数据对于提高基于DL的危险预测模型在重症监护中的通用性至关重要.
• 虽然新医院的表现在不同的数据上有所改善,但在培训期间包括兼容的医院仍然是一个关键因素.
• 目前用于优化概括性的方法在本研究的实验设置中没有显著改善.