通过自适应位分配实现高效准确的尖端神经网络
Yao Xingting1, Hu Qinghao2, Zhou Fei3
1The Key Laboratory of Cognition and Decision Intelligence for Complex Systems, Institute of Automation, Chinese Academy of Sciences, Zhongguan Cun East Road No.95, Beijing, 100190, China; School of Future Technology, University of Chinese Academy of Sciences, Huaibei Zhuang No.380, Beijing, 101408, China.
概括
本研究介绍了一种适应性比特分配策略,用于多位尖端神经网络 (SNN),优化层级资源使用. 这种方法通过智能地管理内存和计算需求,提高了SNN的能源效率和准确性.
科学领域:
- 人工智能的人工智能
- 计算机科学 计算机科学
- 神经科学是一个神经科学.
背景情况:
- 多位尖端神经网络 (SNN) 提供节能的人工智能,但面临着越来越高的内存和计算需求,并提高了比特精度.
- 不成比例的性能增长源于SNN中的资源分配效率低下,在SNN中,额外的比特可能是浪费或有害的.
研究的目的:
- 为直接训练的SNNs开发适应性比特分配策略,以实现对内存和计算资源的细粒度,层级优化.
- 通过智能资源管理,提高SNNs的整体效率和准确性.
主要方法:
- 对权重和尖峰的时间长度和比特宽度的参数化,使它们可以通过梯度来学习和控制.
- 引入一种精细的尖端神经元,能够处理可变的时间长度,并使时间优化的梯度导出成为可能.
- 在可学习的比特宽度中,使用阶段大小更新机制来减轻量化错误的阶段大小不匹配问题的理论制定和解决.
主要成果:
- 在静态数据集 (CIFAR,ImageNet) 和动态数据集 (CIFAR-DVS,DVS-GESTURE) 中,总体内存和计算成本的显著降低.
- 与基线方法相比,获得了更高的准确性.
- 在ImageNet上的SEWResNet-34模型显示2.69%的精度增长和4.16倍的比特预算减少.
结论:
- 拟议的自适应位分配策略有效优化了SNN资源利用,从而提高了能源效率和精度.
- 新型组件,包括精致的尖端神经元和步骤大小更新机制,成功地解决了与可变位宽和时间长度相关的挑战.
- 这项工作在实际部署高性能,资源高效的SNNs方面取得了重大进展.
