立场论文:将医学预测器的可信度评估扩展到机器学习预测器
IEEE journal of biomedical and health informatics
|March 17, 2025
概括
预测模型的可信度评估,包括机器学习 (ML) 预测器,可以使用验证,验证,不确定性,量化和适用性 (VVUQA) 框架. 然而,ML模型的可信性仅限于测试集,需要持续监测.
科学领域:
- 生物医学工程 生物医学工程
- 计算科学 计算科学
- 监管科学 监管科学
背景情况:
- 预测模型对于医疗和监管决策至关重要,需要严格的可信度评估.
- 目前的标准,如ASME VV-40:2018,专注于使用机械知识的生物物理模型.
- 对非机械模型,如机器学习 (ML) 的可信度评估的需要日益令人担忧.
研究的目的:
- 从理论上评估验证,验证,不确定性,量化和适用性 (VVUQA) 框架的扩展到基于机器学习的预测模型.
- 解决关于在科学和监管背景下对ML预测因子的可信度评估的辩论.
- 提出一个框架,以确保机器学习预测在决策过程中的可靠性.
主要方法:
- 对VVUQA框架对ML预测器的适用性进行理论分析.
- 检查在ML模型中缺乏机械知识所造成的局限性.
- 讨论VVUQA范式内对可信度评估的影响.
主要成果:
- 可以将VVUQA框架扩展到评估基于ML的预测器的可信度.
- 对ML模型的可信度评估受限于在验证期间使用的特定测试集.
- 关于ML特征的必要性和充分性的不确定性限制了更广泛的适用性.
结论:
- 基于ML的预测器可以使用VVUQA框架进行评估,但具有固有的限制.
- 总产品生命周期方法,包括营销后监测和定期重新测试,对于ML模型至关重要.
- 需要持续监测,以检测和减轻随着时间的推移在ML预测中的潜在"未知偏差".


