基于注意力的调查和解决对抗性培训的权衡问题

科学领域:

• 深度学习 (Deep Learning) 是一种深度学习.
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 对抗性训练提高了深度模型的稳定性,但通常会导致自然数据的概括性-性能权衡.
• 这种现象与对抗性培训有关,导致模型专注于稀疏的地区,忽视了更广泛的歧视性信息.

研究的目的:

• 在对抗性训练中解决泛化-稳健性权衡问题.
• 提出一个注意力增强学习框架 (AELF),它保留了标准的概括,同时提高了对抗性强度.

主要方法:

• 研究了空间注意力对一般化-强度权衡的影响.
• 引入了一种嵌入级规范化技术,使用预先训练的教师模型的注意力模式.
• 开发了一个简化的AELF,使用参数初始化和更新策略与交叉损失.

主要成果:

• 证明对抗性训练可以导致过度集中在稀疏的空间区域上,阻碍了概括.
• 实验结果表明,在高水平的对抗性稳定性下,AELF显著提高了概括性能.
• 拟议的嵌入级规范化有效地转移了标准模型的注意力模式.

结论:

• 注意增强学习框架 (AELF) 提供了一个可行的解决方案,解决了对抗性培训中的泛化-稳定性困境.
• 通过规范空间注意力,AELF使模型能够实现高稳定性和强大的概括性.
• 这种方法为开发更有效的对抗训练策略提供了新的视角.