重新加载的指标:图像分析验证的建议
Lena Maier-Hein1,2,3,4,5, Annika Reinke6,7,8, Patrick Godau9,10,11
1German Cancer Research Center (DKFZ) Heidelberg, Division of Intelligent Medical Systems, Heidelberg, Germany. l.maier-hein@dkfz-heidelberg.de.
Nature methods
|February 12, 2024
概括
机器学习 (ML) 算法验证中的缺陷阻碍了生物医学的进步. Metrics Reloaded提供了一个框架和工具,用于问题意识的度量选择,改善医学成像中的ML翻译.
科学领域:
- 生物医学图像分析
- 机器学习验证验证
背景情况:
- 机器学习算法验证中的不充分的性能指标阻碍了生物医学图像分析的科学进步和临床翻译.
- 当前的验证实践往往无法与特定的领域利益保持一致,导致对ML模型性能进行不可靠的评估.
研究的目的:
- 引入Metrics Reloaded,这是一个全面的框架,用于指导研究人员选择适当的ML算法验证指标.
- 解决生物医学图像分析中有缺陷的ML算法验证的关键问题.
主要方法:
- 由国际财团通过多阶段的Delphi过程开发.
- 引入了"问题指纹"概念,用于结构化问题表示,与度量选择相关.
- 实现了框架作为一个可访问的在线工具,指标重新加载.
主要成果:
- 该指标重新加载框架指导用户选择和应用合适的验证指标,突出潜在的陷.
- 该框架适用于各种图像分析任务,包括图像级分类,对象检测,语义细分和实例细分.
- 在各种生物医学用例中证明了适用性.
结论:
- 在机器学习中,Metrics Reloaded促进了标准化和问题意识的验证方法.
- 该框架和相关工具提高了生物医学图像分析中的ML技术的可靠性和翻译.
