优化事件驱动的尖端神经网络,通过规范化和切断
Dengyu Wu1, Gaojie Jin2, Han Yu3
1Department of Computer Science, University of Liverpool, Liverpool, United Kingdom.
Frontiers in neuroscience
|March 6, 2025
概括
本研究引入了尖端神经网络 (SNN) 的切断机制,以实现动态推理,显著减少时间步骤,提高计算效率,而不牺牲准确性.
科学领域:
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
- 机器学习 机器学习
背景情况:
- 尖端神经网络 (SNN) 模仿自然的神经网络,以提高计算效率.
- 目前的SNN在固定的时间内推断,限制了动态推断能力.
- 事件驱动处理为更高效的神经网络运行提供了潜力.
研究的目的:
- 为SNN引入一个切断机制,以实现动态推断和提高计算效率.
- 为推断效率高的SNNs提出新的优化技术.
- 加强SNN与事件驱动处理之间的关系.
主要方法:
- 提出了一个切断机制来动态终止SNN推理.
- 引入了两个优化技术:Top-K切断和规范化.
- 在各种基于和基于事件的数据集 (CIFAR10/100,Tiny-ImageNet,CIFAR10-DVS,N-Caltech101,DVS128 Gesture) 上进行了实验.
主要成果:
- 在CIFAR-10上实现了1.76到2.76x更少的时间步骤.
- 在基于事件的数据集中,减少了1.64至1.95x的时间步骤.
- 通过提出的技术,保持了接近零的准确性损失.
结论:
- 拟议的切断和规范化技术有效地提高了SNN推断效率.
- 这些方法与ANN-SNN转换和直接培训方法兼容.
- 这些发现突出了SNN中动态推理的潜力,以减少延迟和提高准确性.


