用布雷格曼距离对牛顿方法的梯度规范化

科学领域:

• 优化理论 优化理论
• 数字分析 数字分析
• 机器学习 机器学习

背景情况:

• 凸的优化问题是各种科学领域的基础.
• 现有的二阶方法,如立方牛顿正规化,提供了强大的趋同保证,但可能是计算密集的.
• 需要有效的优化方案,以平衡融合率与计算简单性.

研究的目的:

• 提出一种新的二次优化方案,利用任意的非欧几里德规范和布雷格曼距离.
• 分析复合凸优化的拟议方法的收性质.
• 为现有方法提供一个计算更简单的替代方案,如立方牛顿正规化.

主要方法:

• 开发了第二阶牛顿式代,结合了布雷格曼距离.
• 调整参数的设置与梯度规范的平方根成正比.
• 根据Hessian Lipschitz连续性和各种凸度类型 (均,强) 的假设,对收率的分析.

主要成果:

• 建立了基本方案的 $$ $$ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ $ 在函数余值和次梯度规范方面建立了基本方案的全球收率.$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$$
• 证明了三度均凸函数的全局线性收和强凸函数的局部超线性收.
• 提出了一个加速方案,其汇率为$$.

结论:

• 拟议的方法提供了立方牛顿规则化的放松,保留了收性质,同时简化了子问题.
• 该方法在不同的凸度假设中显示出强大的收率.
• 调整参数的自适应搜索程序提高了实际应用性.