与诺伊曼-凯利转换的直角门式循环单元

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 深度学习架构 深度学习架构

背景情况:

• 像Gated Recurrent Units (GRUs) 和Long Short-Term Memory (LSTMs) 这样的循环神经网络 (RNN) 面临着梯度稳定性的挑战,特别是爆炸梯度问题.
• 正角矩阵通过帮助梯度控制来增强RNN训练,稳定性和融合的潜力.

研究的目的:

• 在GRU架构中分析梯度行为.
• 建议和评估使用直角矩阵来缓解爆炸梯度和改善GRU的长期记忆.
• 引入一种用于在GRU内部训练直角矩阵的新方法.

主要方法:

• 在GRU架构中的梯度分析.
• 开发基于纽曼数列的缩放凯利转换,用于训练直角矩阵.
• 拟议的诺伊曼-凯利直角GRU (NC-GRU) 模型的实施.

主要成果:

• 拟议的NC-GRU有效地防止了GRU中的爆炸梯度问题.
• 与标准GRU相比,NC-GRU显示了增强的长期记忆能力.
• 实验结果显示,NC-GRU在合成和现实任务上显著超过GRU和其他RNN模型.

结论:

• 当通过诺伊曼-凯利变换集成时,直角矩阵为稳定GRU训练提供了强大的解决方案.
• NC-GRU在RNN性能方面取得了显著的进步,特别是在需要长期依赖模型的任务中.
• 拟议的方法提供了一个实际的方法来提高GRU网络的有效性.