XAI-TRIS:非线性图像基准来量化错误的正确后期特征重要性归因

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 可解释的人工智能 (XAI)

背景情况:

• 可解释的AI (XAI) 方法旨在通过赋予输入特征的重要性,使复杂的机器学习 (ML) 决策易于理解.
• 缺乏正式的基础阻碍了XAI方法的验证和理论验证,特别是对于深度神经网络解决的非线性问题.

研究的目的:

• 为线性和非线性分类场景创建具有已知的基本真相解释的基准数据集.
• 在不同的深度学习架构中对各种XAI方法的性能进行定量比较.

主要方法:

• 开发一个线性和三个非线性分类任务的基准数据集.
• 使用新型指标对多种XAI方法进行定量评估.
• 在三个不同的深度学习模型架构中进行基准测试.

主要成果:

• 流行的XAI方法经常与随机基线和边缘检测类似.
• XAI 方法通常将重要性赋予与无关的特征 (假阳性),而不是真正具有预测性的特征.
• 不同模型架构生成的解释可能会有很大的差异,导致潜在的误解.

结论:

• 目前流行的XAI方法缺乏可靠性,可能产生误导性的解释.
• 对于XAI,有必要建立强大的理论基础和验证指标.
• 跨模型的解释的变化需要在解释深度学习应用的XAI输出时保持谨慎.