在深度学习中加快优化,使用比例-整数-导数控制器.

科学领域:

• 深度学习 (Deep Learning) 是一种深度学习.
• 优化算法 优化算法
• 控制理论 控制理论

背景情况:

• 由于算法不稳定性和解释性差,理解深度学习优化仍然具有挑战性.
• 基于梯度的优化可以作为连续时间动态系统进行建模.
• 反控制为开发强大和可解释的优化器提供了新的视角.

研究的目的:

• 为了介绍一个新的优化框架,控制重球优化器.
• 使用PID控制器开发了一个确定性的连续时间优化器,即PIDAO (比例-整数-导数加速优化器).
• 为 PIDAO 在不受约束的优化中提供理论收分析.

主要方法:

• 在优化框架内实施比例整数导数 (PID) 控制器.
• 开发一个确定性的连续时间优化器 (PIDAO).
• 对不受约束的 (非) 凸的优化进行理论收分析.
• 通过分离来导出PIDAO家族方案进行深度神经网络训练.

主要成果:

• 与经典优化器相比,PIDAO在探索损失格局方面表现出更具攻击性的能力.
• 在PIDAO中的PID控制器可以降低计算成本.
• 实验评估表明,PIDAO加速了融合,并提高了深度学习的准确性.
• 在使用先进的算法时,PIDAO实现了最先进的性能.

结论:

• PIDAO提供了一个强大的,准确的,可解释的方法来优化深度学习.
• 将控制理论集成到优化动态中,可以显著提高性能.
• PIDAO代表了深度学习高性能优化算法的有前途的进步.