通常使用的软件工具产生冲突和过度乐观的AUPRC值
Wenyu Chen1, Chen Miao1, Zhenghao Zhang2
1School of Biomedical Sciences, The Chinese University of Hong Kong, Shatin, New Territories, Hong Kong SAR, China.
评估用于绘制精度回忆曲线 (PRC) 和计算PRC (AUPRC) 下面面积的10个工具显示出了显著的差异. 一些工具提供了过于乐观的结果,影响了不平衡数据集中的分类器排名.
科学领域:
- 生物信息学是一种生物信息学.
- 机器学习 机器学习
- 计算生物学 计算生物学
背景情况:
- 精度回忆曲线 (PRC) 和PRC下的面积 (AUPRC) 是评估分类性能的关键指标,特别是在不平衡的数据集中.
- 这些指标广泛应用于癌症诊断和细胞类型注释等领域.
- 已有3000多项发表的研究使用了PRC绘图和AUPRC计算工具.
研究的目的:
- 评估用于生成精度回忆曲线 (PRC) 和计算PRC (AUPRC) 下面面积的10个流行的工具的性能和一致性.
- 识别分类器排名中的差异和不同软件工具报告的AUPRC值中的潜在偏差.
主要方法:
- 对10种常用的生物信息学工具进行比较分析,用于PRC绘图和AUPRC计算.
- 评估这些工具在各种数据集中生成的AUPRC值的一致性和准确性.
- 评估不同工具如何影响分类模型的排名.
主要成果:
- 通过评估工具计算的精度回忆曲线 (AUPRC) 值下的区域观察到显著的变化.
- 分类器的排名因用于AUPRC计算的工具而异.
- 发现一些工具产生了过于乐观的AUPRC结果,可能误导了分类器的性能.
结论:
- 选择用于绘制精度回忆曲线和计算区域的工具在中华人民共和国下显著影响分类性能评估.
- 用户应谨慎使用,因为某些工具可能会产生膨胀的AUPRC值,导致分类器的评估和排名不准确.
- 需要进一步的标准化或明确的指导方针,以便在机器学习应用中可靠的AUPRC计算,特别是对不平衡的数据.
更多相关视频
16:23Automated, Quantitative Cognitive/Behavioral Screening of Mice: For Genetics, Pharmacology, Animal Cognition and Undergraduate Instruction
Published on: February 26, 2014
11:53Spatial Multiobjective Optimization of Agricultural Conservation Practices using a SWAT Model and an Evolutionary Algorithm
Published on: December 9, 2012
相关概念视频
Distribution Reliability and Automation
Propagation of Uncertainty from Systematic Error
Uncertainty: Overview
Introduction to R
Statgraphics
Propagation of Uncertainty from Random Error
