理论趋同分析和初始化分析 深度软门网络的比较

科学领域:

• 深度学习 (Deep Learning) 是一种深度学习.
• 神经网络架构 神经网络架构
• 计算神经科学是一种神经科学.

背景情况:

• 软门 (ST) 是深度神经网络的组成部分,特别是深度软门完全连接网络 (ST-FCNs).
• 训练深度ST-FCN经常面临融合问题,包括耗时的训练和梯度爆炸,由于对它们的融合行为不完全理解.

研究的目的:

• 建立深层ST-FCN和它们的重量和偏差参数的融合之间的理论联系.
• 提出一个有效的初始化策略,以加强ST-FCN的融合.

主要方法:

• 理论分析以确定深层ST-FCN的收条件,因为层数接近无限.
• 经验评估比较身份矩阵初始化与标准方法 (高斯,He,LeCun,Xavier,Uniform) 在合成和现实世界的数据集上.
• 在各种网络深度,架构 (DenseNet,ResNet,VGG) 和具有挑战性的基准上进行验证.

主要成果:

• 理论分析表明,当权重接近同一矩阵,偏差接近零时,深层ST-FCN会收.
• 与其他方法相比,对权重的身份矩阵初始化和偏差的零初始化显示出明显更快,更稳定的趋同.
• 在各种数据集 (MNIST,CIFAR-10/100,STL-10,Tiny ImageNet) 和网络复杂性方面,这些发现是稳定的.

结论:

• 使用身份矩阵权重和零偏差初始化深度ST-FCN提供了一个理论上有基础的和经验验证的方法,用于快速和稳定的融合.
• 这项研究提供了对ST神经网络融合的基本理解,并扩展到循环神经网络 (RNNs).