在临床心电图分类中对多源交叉验证的实证调查

科学领域:

• 医疗信息学 医疗信息学
• 机器学习 机器学习
• 心血管疾病预测预测

背景情况:

• 临床预测模型通常在单一来源的患者数据上进行训练和评估.
• 标准交叉验证高估了模型的准确性,当应用到新的,未见的数据源,如不同的医院.
• 多源医疗数据集可以实现更现实的模型性能评估.

研究的目的:

• 在多源环境中实证评估K-fold交叉验证和离开来源的交叉验证.
• 对机器学习模型的性能估计的可靠性进行评估,以对新数据源进行概括.
• 突出临床模型验证中的潜在高估问题.

主要方法:

• 系统的实证评估K-fold和离开来源的交叉验证.
• 利用了来自PhysioNet/CinC Challenge 2021和山东省医院的协调多源数据.
• 专注于基于心电图的心血管疾病分类任务.

主要成果:

• K-fold交叉验证系统地高估了对新源进行概括的预测性能.
• 交叉验证提供了不那么偏,更可靠的绩效估计.
• K-fold交叉验证显示了单个来源和多个来源数据的显著高估偏差.

结论:

• 标准的交叉验证方法可以给临床预测模型带来误导性乐观的结果.
• 交叉验证 (leave-source-out) 是一种更合适的方法,用于评估不同医疗数据源的模型通用性.
• 访问多源数据对于减轻医疗保健机器学习中的验证偏差至关重要.