h-校准:重新思考分类器重新校准与概率错误限制的目标

科学领域:

• 机器学习 机器学习
• 人工智能的人工智能
• 可能性理论概率理论.

背景情况:

• 深度神经网络 (DNN) 在各种任务中表现出色,但经常表现出校准错误,导致不可靠的概率输出.
• 后期重新校准方法旨在提高DNN的概率可靠性,而不会影响分类性能.
• 现有的方法面临局限性,这促使开发更强大的校准技术.

研究的目的:

• 分类和分析DNN当前后期校准方法的局限性.
• 提出一种新的概率学习框架,即$h$-校准,用于增强模型校准.
• 根据$h$-calibration框架开发一个有效的后期校准算法.

主要方法:

• 现有校准策略的分类和理论/实践分析 (直观的,基于包装的,理想的校准配方).
• 开发了$h$-校准的概率学习框架,为有边界的正规校准建立了同等的学习公式.
• 设计和实施由$h$-校准框架衍生的后期校准算法.

主要成果:

• 确定并解决了先前的临时校准方法中十个常见的局限性.
• 拟议的$h$校准算法在广泛的实验中显示出与传统方法相比更高的性能.
• 在标准后期校准基准上取得了最先进的结果,验证了理论有效性.

结论:

• $h$-校准框架提供了一个理论上合理且实际上有效的方法来学习有误差的校准概率.
• 这项研究阐明了计算统计学关于正规校准理论界限的收性质.
• 这项工作为提高机器学习和相关领域可靠的概率估计提供了宝贵的参考.