三维重建预训练作为提高对敌对攻击和虚假相关性强度的先验
Yutaro Yamada1, Fred Weiying Zhang1, Yuval Kluger2,3,4
1Department of Statistics & Data Science, Yale University, New Haven, CT 06511, USA.
Entropy (Basel, Switzerland)
|March 28, 2024
概括
将3D几何学先验与对抗训练相结合,可以提高图像分类器对抗对抗攻击和虚假相关性的稳定性,特别是在现实的条件下. 这种方法比标准方法提高了性能.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 人工智能的人工智能
背景情况:
- 图像分类器与对抗性攻击和虚假相关性作斗争.
- 用对抗性示例进行对抗性训练是关键的稳定性方法.
- 人类视觉模型为图像形成提供了对结构化先验的洞察力.
研究的目的:
- 探索对抗训练和3D几何学先验的合成,以提高图像分类器的稳定性.
- 调查3D重建预训练对对抗性强度和虚假相关性抵抗的影响.
主要方法:
- 通过3D重建预训练,与重量初始化编码3D对象先验相结合的对抗性训练.
- 介绍了Geon3D数据集,用于系统评估3D预训练效应.
- 在Geon3D和ShapeNet数据集上评估性能,与替代的预训练协议进行比较.
主要成果:
- 3D重建预训练在现实的条件下 (有纹理的背景,ShapeNet) 提高了对抗性训练的稳定性.
- 这种方法增强了对形状和背景纹理之间的虚假相关性的稳定性.
- 基于3D的预训练在ShapeNet数据集上表现优于基于2D的预训练.
结论:
- 结构化,基于3D的视觉模型可以显著有利于对抗强度.
- 整合3D几何先验为开发更有弹性的图像分类器提供了一个有希望的方向.
- 鼓励对基于3D视觉模型的对抗性强度进行进一步的研究.
