精确的梯度方法与内存

科学领域:

• 优化方法优化方法.
• 数字分析 数字分析
• 机器学习算法 机器学习算法

背景情况:

• 有记忆的不准确梯度方法 (IGMM) 通过使用逐段线性下方模型,比标准梯度方法提供了性能改进.
• 然而,IGMM依赖于在固定的公差范围内解决辅助问题,这限制了其适用性和最坏情况下的收率.

研究的目的:

• 修改IGMM以消除公差参数,扩大其适用范围并改善趋同保证.
• 开发一个加快版本的修改方法,没有错误的积累.

主要方法:

• 修改带内存的不准确梯度方法 (IGMM) 来创建带内存的准确梯度方法 (EGMM).
• 在更严格的假设下,通过将加速技术应用于EGMM来开发具有内存的加速梯度方法 (AGMM).
• 对EGMM和AGMM的最坏情况收率的分析.

主要成果:

• EGMM删除了容忍参数,实现了类似于Bregman距离梯度方法/NoLips的广泛适用性,具有最差情况的合率.
• AGMM在没有错误积累的情况下实现了较好的最坏情况下的汇率$$.
• 初步实验表明EGMM的性能很好,有时会超过加速方法,AGMM始终超过快速梯度方法.

结论:

• 拟议的精确梯度与内存方法 (EGMM) 为IGMM提供了一个更强大,更广泛的替代方案.
• 带内存的加速梯度方法 (AGMM) 为基于内存的优化方法提供了最先进的融合率.
• 计算结果验证了EGMM和AGMM的理论改进和实际效率.