AdaSAM:通过适应性学习速度和动力来提高敏度意识的最小化,以训练深度神经网络

科学领域:

• 深度学习优化优化
• 机器学习理论机器学习理论

背景情况:

• 敏度意识最小化 (SAM) 通过平整损失景观来改善深度神经网络的泛化.
• 将SAM与自适应性学习速率和势头 (AdaSAM) 整合在一起显示出经验上的承诺,但缺乏理论支持.
• 由于合扰动,自适应学习速率和势头步骤,分析AdaSAM具有挑战性.

研究的目的:

• 在随机非凸设置中理论分析AdaSAM的收率.
• 为SAM提供第一个非微不足道的融合率,具有适应性学习速率和势头加速.
• 为了证明AdaSAM的线性加速度属性与迷你批量大小相关.

主要方法:

• 引入了一个延迟的二次动量术语来解随机梯度步骤,适应性学习速率和扰动梯度.
• 通过对预期进行分析,使组件独立,分析了趋同.
• 限制了自适应性学习率,以确保分析可行性.

主要成果:

• AdaSAM 实现了 O{\displaystyle O}1/bT 的理论收率,通过小型批量大小 (b) 证明了线性加快.
• 分析成功地解并限制了自适应性学习速率和动量组件.
• 关于NLP和合成任务的实验结果显示,AdaSAM的表现优于SGD,AMSGrad和SAM.

结论:

• AdaSAM提供了理论上保证的融合率和线性加速,验证了它的有效性.
• 拟议的分析框架为理解像AdaSAM这样的复杂优化器提供了基础.
• AdaSAM表现出卓越的性能,使其成为深度学习任务的宝贵优化器.