动态时空修剪用于高效的尖端神经网络
Shuiping Gou1, Jiahui Fu1, Yu Sha1
1Key Laboratory of Intelligent Perception and Image Understanding of Ministry of Education, School of Artificial Intelligence, Xidian University, Xi'an, China.
Frontiers in neuroscience
|April 9, 2025
概括
这项研究介绍了一种新的时空修剪算法,用于尖端神经网络 (SNN). 该算法显著减少了模型大小和冗余性,同时提高了动态视觉传感器数据集的性能.
科学领域:
- 计算神经科学是一种神经科学.
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 尖端神经网络 (SNN) 通过事件驱动的处理和稀疏的数据流提供计算效率,模仿生物神经元.
- 硬件限制,特别是内存处理器带宽,需要在人工神经网络 (ANN) 中高效处理数据.
- 与ANN相比,SNN中的动态稀疏性最大限度地减少了数据通信,减少了访问权重,并使得与ANN相比,性能降低较少的有效修剪.
研究的目的:
- 为SNN开发一个时空修剪算法,以减少动态视觉传感器 (DVS) 数据集中的时间冗余.
- 调查修剪对SNN性能和参数空间减少的影响.
- 为了提高神经形态处理器的计算效率和内存需求.
主要方法:
- 提出了一个时空修剪算法,该算法可以动态地适应SNN中的时间冗余.
- 基于全球参数统计和层间参数计数的空间修剪.
- 进行了废弃性研究,以隔离和评估拟议的修剪方法的单个组件.
主要成果:
- 在DVS128 Gesture数据集上实现了0.69%的性能改进,与典型的修剪预期相反.
- 显示了令人印象深刻的98.18%的参数空间减少和50%的时间冗余减少.
- 该方法在各种数据集中表现出色,特别是那些具有时间变化的特征的数据集.
结论:
- 开发的时空修剪算法有效地减少了SNN中的冗余和参数空间,而不会影响性能.
- 这种方法为高效的神经形态计算提供了一个有前途的解决方案,特别是对于基于事件的感觉数据的处理.
- 这些发现突出了SNNs和下一代AI硬件先进修剪技术的潜力.
