推动尖端神经网络向深度残留学习迈进

科学领域:

• 神经形态计算是一种神经形态计算.
• 人工智能的人工智能
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 尖端神经网络 (SNN) 显示出对高效人工智能的承诺,但受限于容量和表示能力.
• 现有的深度学习技术,如残留学习,不能直接应用于SNNs,导致退化问题.
• 信息流和梯度传播是训练深度SNN的重大挑战.

研究的目的:

• 解决当前SNN的局限性,特别是容量和代表权力.
• 调查SNN架构中的残留学习原则的有效性.
• 提出一种新的SNN特定的残余架构,使得可以训练更深层次的网络.

主要方法:

• 开发了MS-ResNet,这是一种基于SNN的新型剩余架构,具有基于膜的快捷路径.
• 应用了区块动态同度理论,以确保梯度规范平等和网络稳定性.
• 在包括CIFAR-10和ImageNet在内的基准数据集上培训和评估MS-ResNet.

主要成果:

• 成功训练SNN到前所未有的深度 (例如,CIFAR-10上的482层,ImageNet上的104层) 没有退化.
• 在 ImageNet 上,MS-ResNet104 实现了对直接受过训练的 SNN 的最先进的 76.02% 准确度.
• 证明了高能效,平均每神经元只需要一个尖峰进行分类.

结论:

• 通过结合专门的残留通路,MS-ResNet有效地解决了深层SNN中的降解问题.
• 拟议的架构显著提高了直接训练的SNNs的性能和可扩展性.
• 这些发现为更强大,更有效的神经形态计算应用铺平了道路.