SpQuant-SNN:具有稀疏激活的超低精度膜潜力,释放了设备上尖端神经网络应用程序的潜力

科学领域:

• 人工智能的人工智能
• 计算机视觉 计算机视觉
• 神经形态工程的神经形态工程

背景情况:

• 尖端神经网络 (SNN) 提供了生物可信性和能源效率,但对重量和膜潜力存在高精度要求.
• 现有的SNN面临存储和内存访问开销,限制它们在资源有限的硬件上部署.
• 之前试图减少SNN的精度或时间步骤往往导致显著的精度下降.

研究的目的:

• 开发一个完全量子化的SNN,SpQuant-SNN,具有超低精度重量,膜潜力和高空间通道稀疏性.
• 为了实现端到端的低精度,并减少SNN中的计算操作,而不会影响性能.
• 解决SNN中同时修剪和量子化尚未探索的领域.

主要方法:

• 提出了一种全数量子化方案,用于使用堆叠的替代梯度函数进行膜电位的顺训练.
• 实现了由膜电位先导的空间通道修剪,以减少层层的计算复杂性和FLOP.
• 引入了一个自我适应的可学习潜力值,以提高低精度和稀疏SNNs的准确性.

主要成果:

• 与最先进的基线相比,实现了高达13倍的内存减少和超过4.7倍的FLOP减少.
• 在图像分类和物体检测任务中显示的最小精度降低 (<1.8%).
• 展示了基于事件和静态图像数据集的多个SNN模型的最新性能.

结论:

• 在SNN中,SpQuant-SNN成功实现了超低精度和稀疏性,显著提高了效率.
• 提出的方法有效地减少了内存足迹和计算负载,同时保持高精度.
• SpQuant-SNN展示了卓越的性能和效率,使SNN更适合资源有限的应用程序.