相关实验视频
Updated: Jun 17, 2025
05:37
An R-Based Landscape Validation of a Competing Risk Model
Published on: September 16, 2022
2.0K
单一研究外部验证的陷用一个模型来说明,该模型预测了动脉瘤下关节出血后的功能结果
Jordi de Winkel1,2, Carolien C H M Maas3, Bob Roozenbeek4
1Department of Neurology, Erasmus MC University Medical Center Rotterdam, 40 Doctor Molewaterplein, P.O. Box 2040, Rotterdam, Zuid-Holland, 3015 GD, The Netherlands. j.dewinkel@erasmusmc.nl.
BMC medical research methodology
|August 8, 2024
概括
预测模型的单一研究外部验证可能会产生误导性. 模型性能差异很大,并没有评估可概括性,这可能导致对临床预测模型的误解.
科学领域:
- 神经学 神经学
- 临床流行病学临床流行病学
- 生物统计学 生物统计学
背景情况:
- 预测模型的外部验证对于评估其在现实世界中的适用性至关重要.
- 单一研究的外部验证可能会产生误导性的绩效估计.
- 脑下关节出血 (SAH) 患者的结果需要可靠的预测模型.
研究的目的:
- 为了说明单一研究外部验证的陷.
- 评估SAH患者功能结果预测模型的性能估计的变化.
- 评估SAH预测模型的可通用性和可传输性.
主要方法:
- 在14项研究中重新调整了SAHIT模型,用于在11,931名SAH患者中预测功能性结果.
- 雇员休假 - 一个集群 - 交叉验证以模拟多个单一研究的外部验证.
- 评估模型歧视 (c-统计) 和校准 (截面,斜率),并使用元分析进行性能估计和异质性.
主要成果:
- 模型性能在14个单一研究外部验证中表现出很高的变化 (平均c统计:0.74,范围:0.52-0.84).
- 在歧视 (I2=0.92) 和校准 (截面I2=0.97,斜率I2=0.90) 中观察到显著的异质性.
- 案例组合的变化和研究间的异质性导致了绩效下降;人们注意到概括能力差.
结论:
- 单一研究的外部验证可能会导致误解,因为高性能可变性.
- 它未能提供对模型通用性或可移植性的洞察,阻碍了临床实施.
- 交叉验证方法为评估预测模型性能和通用性提供了更强大的方法.
