ProactiV:在输入转换下研究深度学习模型行为

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 深度学习 (DL) 模型提供了显著的性能增长,但其解释性较低,导致现实应用中的不可预测行为.
• 模型故障通常源于训练数据域和部署数据域之间的差异,需要方法来识别输入转换下的断点.
• 现有的视觉分析 (VA) 方法主要集中在每个类或实例级别的分析上,限制了在不同输入下研究全球模型行为的研究.

研究的目的:

• 开发一种模型不可知视觉分析 (VA) 方法,ProactiV,用于在输入转换下主动研究深度学习 (DL) 模型行为.
• 为了将分析推广到分类任务之外,在同时发生的输入转换下提供模型行为的全球视图.
• 为了能够识别和验证模型的断点,并获得对输入特征和模型偏差的见解.

主要方法:

• ProactiV采用一种新的输入优化技术来确定输入修改,从而产生所需的输出.
• 这种优化过程生成数据,用于在输入转换下对全球和本地模型行为进行大规模分析.
• 该方法是模型不可知,适用于各种DL架构和任务,包括分类和图像对图像翻译.

主要成果:

• ProactiV促进了深度学习模型断裂点的积极识别和验证.
• 输入优化方法揭示了对所需输出至关重要的输入特征,并有助于发现模型偏差.
• 在各种任务中表现出有效性,包括图像分类和图像对图像翻译.

结论:

• ProactiV提供了一种可扩展和全面的方法,以理解输入转换下的深度学习模型行为.
• 该方法通过能够主动识别故障模式来提高模型的可解释性和稳定性.
• ProactiV支持开发人员构建更可靠和值得信赖的深度学习系统.