使用随机扰动进行循环神经网络的无梯度训练

科学领域:

• 人工智能的人工智能
• 计算神经科学是一种神经科学.

背景情况:

• 循环神经网络 (RNN) 对序列数据具有强大功能,但面临训练挑战.
• 时间逆向传播 (BPTT) 是标准的,但有诸如消失梯度和记忆问题等局限性.
• 基于扰乱的方法提供了一个更简单的替代方案,但往往遭受低效的优化.

研究的目的:

• 为RNN开发一种新的基于扰动的学习方法,克服现有方法的局限性.
• 提高RNN培训的效率和概括能力,使用一种新的扰动技术.
• 为了证明这种新方法与BPTT等基于梯度的方法具有竞争力.

主要方法:

• 扩展了基于活动的节点扰动 (ANP) 方法,以便在RNN的时间域中运行.
• 采用基于扰动的学习策略,只需要向前传球和全局增强信号.
• 进行实验以验证拟议方法的性能,收性和可扩展性.

主要成果:

• 拟议的基于ANP的方法实现了与时间逆向传播 (BPTT) 具有竞争力的性能.
• 与BPTT相比,新方法显示了类似的融合时间和可扩展性.
• 在RNN培训中表现优于标准节点扰动和重量扰动方法.
• 展示了高效的学习和改进的概括能力.

结论:

• 基于扰动的学习为训练RNNs提供了基于梯度的方法的可行和多功能替代方案.
• 拟议的时间域ANP方法为RNN培训提供了一种高效和有效的方法.
• 这种方法非常适合用于神经形态计算中的应用,因为它具有固有的优势.