不确定性意识培训,以改善深度学习模型的校准,以对心脏MR图像进行分类

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 医疗信息学 医疗信息学

背景情况:

• 量化预测不确定性对于可信的人工智能至关重要,尤其是在临床决策支持方面.
• 当前的人工智能培训策略往往忽视校准,导致自信错误的预测.
• 改进模型校准确保AI避免自信错误,并最大限度地提高对正确预测的信心.

研究的目的:

• 评估AI分类模型的新型不确定性意识培训策略.
• 将这些策略与使用精度和校准指标的最先进方法进行比较.
• 分析校准指标与准确度指标在医疗保健模型选择中的影响.

主要方法:

• 评估了三个新的不确定性意识培训策略和两个最先进的方法.
• 对所有评估模型的量化 aleatoric (数据) 和 epistemic (模型) 不确定性.
• 在临床应用中使用准确度和校准指标 (例如,预期校准误差) 评估模型性能:预测心脏再同步治疗反应和冠状动脉疾病诊断.

主要成果:

• 信任权重方法在分类准确性和校准方面都表现出卓越的表现 (减少了ECE的17-22%).
• 这种新的方法,惩罚了自信的错误预测,在两种临床应用中略有提高了准确性.
• 在选择基于不同校准措施的最佳模型时,观察到缺乏一致性.

结论:

• 不确定性意识培训策略,特别是信心权重方法,提高AI模型的可靠性和在临床环境中的性能.
• 仔细考虑性能指标对于培训和选择高风险医疗保健应用中的AI模型至关重要.
• 需要进一步的研究来协调模型选择标准在临床AI的各种校准措施.