归因扫描仪:用于模型验证的视觉分析系统,使用无元数据的切片查找

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 数据切片的发现通过分析性能差的子组来验证机器学习 (ML) 模型.
• 验证视觉模型是具有挑战性的,因为需要元数据和难以解释性能问题.
• 现有的方法需要繁的元数据收集和复杂的图像数据解释.

研究的目的:

• 引入AttributionScanner,一个新的循环内人视觉分析 (VA) 系统,用于在ML视觉模型中无元数据的数据片查找.
• 为了能够有效地检测和解释模型性能问题,如偏差和错误标记的数据.
• 通过有针对性的减轻问题来提高ML视觉模型的可靠性和准确性.

主要方法:

• 开发了AttributionScanner,这是一个用于无元数据数据切片查找的VA系统.
• 实现了Attribution Mosaic设计,用于可视化常见模型行为和数据切片.
• 集成了一个交互式界面,用于用户引导检测,解释和注释模型问题.
• 采用模型规范化技术来解决检测到的问题.

主要成果:

• 属性扫描器成功地识别了可解释的数据切片,而不需要额外的元数据.
• 该系统可视化了常见的模型行为,有助于检测虚假的相关性和错误标记的数据.
• 对基准数据集的评估表明,视觉模型验证具有显著的有效性.
• 综合规范化技术减轻了发现的问题,提高了模型性能.

结论:

• 属性扫描器提供了一个有效的解决方案,用于在ML视觉模型中寻找无元数据数据片.
• 该系统有助于检测和解决常见的模型问题,从而提高模型可靠性.
• 这种方法提高了用于ML模型验证的视觉分析的解释性和可用性.