Rect-ViT:通过特征归属来纠正注意力可以提高视觉转换器的对抗性强度

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 深度神经网络 (DNN) 容易受到对抗性实例 (AE) 的攻击,原因是稳健和非稳健特征之间的分布差异.
• 视觉转换器 (ViT) 显示出比卷积神经网络 (CNN) 更强大的稳定性.
• 反对训练 (AT) 是提高模型稳定性的关键技术.

研究的目的:

• 研究ViT注意力机制中的激活分布和强大的特征之间的关系.
• 在预测AEs时解决ViTs中无关符号激活的问题,这阻碍了稳定性.
• 提出一种新的方法,Rect-ViT,以提高ViT对抗对方攻击的稳定性.

主要方法:

• 在ViTs的AT期间研究了自然和对抗性示例之间的代币分布差异.
• 开发了Rect-ViT,它利用与类相关的梯度来纠正强大的特征.
• 实施了辅助令牌的相关性反向传播,以对齐令牌激活分布.

主要成果:

• Rect-ViT有效地纠正和调整令牌激活分布,在AT期间提高ViT的稳定性.
• 拟议的纠正注意力机制可以适应各种ViT架构和AT方法 (TRADES,MART).
• 针对四种攻击方法,Rect-ViT实现了0.64%的CIFAR10和1.72%的Imagenette的平均强大的精度改进.

结论:

• Rect-ViT通过解决非强大的特征提取来提高视觉转换器在对抗实例的稳定性.
• 该方法对安全关键的应用和复杂的视觉任务具有实际意义.
• Rect-ViT代表了在提高ViT对敌对干扰的弹性方面取得的重大进展.