相关实验视频
Updated: Jul 1, 2025

An R-Based Landscape Validation of a Competing Risk Model
Published on: September 16, 2022
如何在回归的机器学习中评估不确定性估计?
Laurens Sluijterman1, Eric Cator2, Tom Heskes3
1Department of Mathematics, Radboud University, P.O. Box 9010-59, 6500 GL, Nijmegen, Netherlands.
目前用于评估神经网络不确定性估计的评估方法有缺陷. 我们提出一种新的基于模拟的方法,以更好地评估和开发不确定性量化技术.
科学领域:
- 机器学习 机器学习
- 人工智能的人工智能
- 统计建模 统计建模
背景情况:
- 神经网络越来越多地使用,需要可靠的不确定性估计.
- 评估不确定性估计的现有方法 (密度的日志概率,预测间隔的覆盖范围) 有局限性.
- 这些方法努力解开预测不确定性的组成部分,并比较不同的估计方法.
研究的目的:
- 识别和分析当前用于评估来自神经网络的不确定性估计方法的基本缺陷.
- 为了证明日志概率和直接预测间隔测试的局限性.
- 提出一种新的基于模拟的方法,用于更强大,更可比的不确定性量化评估.
主要方法:
- 现有评估指标的理论分析 (日志概率,预测间隔覆盖范围).
- 模拟来证明当前方法的缺陷,包括边际与点向点覆盖范围的问题.
- 开发和提出基于模拟的测试框架,用于不确定性量化.
主要成果:
- 逻辑概率和直接预测间隔测试都表现出重大缺陷.
- 目前的方法无法可靠地评估预测不确定性的单个组成部分.
- 用单个数据集进行测试可以掩盖不良行为,如过度/不足的自信.
- 更好的日志概率并不能保证更好的预测间隔.
结论:
- 评估神经网络不确定性估计的现有方法是不充分的.
- 提出一种新的基于模拟的方法来克服这些局限性.
- 这种新方法有助于更好地比较和开发不确定性量化方法.
更多相关视频
04:09Predicting Treatment Response to Image-Guided Therapies Using Machine Learning: An Example for Trans-Arterial Treatment of Hepatocellular Carcinoma
Published on: October 10, 2018
10:22Split Point Analysis and Uncertainty Quantification of Thermal-Optical Organic/Elemental Carbon Measurements
Published on: September 7, 2019
相关概念视频
Uncertainty in Measurement: Accuracy and Precision
Uncertainty: Confidence Intervals
Uncertainty: Overview
Propagation of Uncertainty from Random Error
Propagation of Uncertainty from Systematic Error
Confidence Interval for Estimating Population Mean
A confidence interval for the mean is a range of values that provides an estimate of the population mean. As the...