直接训练时间尖端神经网络,使用稀疏的代用梯度
Yang Li1, Feifei Zhao1, Dongcheng Zhao2
1Brain-inspired Cognitive Intelligence Lab, Institute of Automation, Chinese Academy of Sciences (CAS), Beijing, China; School of Artificial Intelligence, University of Chinese Academy of Sciences, Beijing, China.
概括
这项研究引入了蒙面替代梯度 (MSG) 和时间加权输出 (TWO),以改善尖端神经网络 (SNN) 训练. 这些方法通过平衡训练有效性和梯度稀疏性来提高SNN的性能.
科学领域:
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
- 机器学习 机器学习
背景情况:
- 尖端神经网络 (SNN) 提供节能,基于事件的计算.
- 对SNN的直接培训是具有挑战性的,因为它们的全部或没有尖端性质.
- 替代梯度 (SG) 允许SNN训练,但可以减少稀疏性和性能.
研究的目的:
- 为了解决由替代梯度训练减少的稀疏性引起的SNN中的性能损失.
- 提出新的方法,以有效和稀疏的SNNs培训.
- 提高尖端神经网络的泛化能力.
主要方法:
- 分析直接培训问题与替代梯度的分析.
- 引入掩盖替代梯度 (MSG) 以平衡训练有效性和梯度稀疏性.
- 实施一个时间加权输出 (TWO) 方法用于网络解码.
主要成果:
- 蒙面替代梯度 (MSG) 有效平衡训练和梯度稀疏性.
- 时间加权输出 (TWO) 方法加强了正确时间步骤的重要性.
- 结合MSG和TWO方法在实验中超越了最先进的训练技术.
结论:
- 拟议的MSG和TWO方法为训练尖端神经网络提供了一种优越的方法.
- 这些技术可以提高SNN的通用化和性能,同时保持理想的稀疏性.
- 这项工作推动了SNN在神经形态硬件中的实际应用.


