关于贝叶斯神经网络对敌对攻击的稳定性

科学领域:

• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.
• 人工智能安全 的人工智能安全

背景情况:

• 在安全关键的应用中采用深度学习的障碍是对对抗性攻击的脆弱性.
• 目前的方法很难训练强大的深度学习模型来应对这些威胁.
• 了解对手攻击的几何性质至关重要.

研究的目的:

• 分析贝叶斯神经网络 (BNN) 的过度参数化极限中的对抗性攻击的几何.
• 为了证明BNN在梯度基础的对抗性攻击之后的固有稳定性.
• 从理论和经验上验证BNN对各种攻击类型的弹性.

主要方法:

• 对 BNN 的过度参数化极限中对抗性攻击几何学的分析.
• 利用无限宽的BNN与高斯过程 (GPs) 的融合.
• 关于BNN后部分布的消失预期损失梯度的理论证明.
• 使用哈密尔顿蒙特卡洛定律和对基准数据集的变异推理进行实验验证.

主要成果:

• 极限中的对抗性攻击漏洞源于数据分布的退化 (低维子多元).
• 在过度参数化的极限中,BNN的后部对基于梯度的对抗性攻击具有强大抵抗力.
• 对于BNN后台,预期的损失梯度会消失,即使单个网络没有.
• 经验证据表明,BNN对基于梯度和无梯度的攻击保持了高精度和稳定性.

结论:

• 在过度参数化的极限中数据分布的几何性质解释了BNN的稳定性.
• 在开发对抗攻击的深度学习模型方面,BNN提供了一个有希望的解决方案.
• 在安全关键的人工智能应用中,BNN显示出安全部署的潜力.