快速SNN:通过转换量子化ANNN来快速增长的神经网络

科学领域:

• 计算机科学 计算机科学
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 尖端神经网络 (SNN) 提供了比人工神经网络 (ANN) 的计算和能源效率优势,这是由于事件驱动的处理和更简单的操作.
• 训练深度SNN由于其离散的尖端性质而具有挑战性,通常需要从ANN转换为SNN.
• ANN-to-SNN转换通常会出现量化和累积错误,导致高推理延迟和性能降低.

研究的目的:

• 提出Fast-SNN,这是一种用于训练深度SNN的新方法,可以在显著减少推理延迟的情况下实现高性能.
• 通过最大限度地减少量化和序列错误来解决传统的ANN到SNN转换方法的局限性.

主要方法:

• 在SNN中的时间量子化和ANN中的空间量子化之间建立一个相当的映射.
• 将量子化误差的最小化转移到量子化ANN的训练阶段.
• 确定顺序错误是累积错误的主要原因,并引入签名的整合和火 (IF) 神经元模型和层层微调以减轻它.

主要成果:

• 快速SNN在各种计算机视觉任务上实现了最先进的性能,包括图像分类,对象检测和语义细分.
• 与现有的ANN-SNN转换技术相比,提出的方法显著降低了推断延迟,同时保持了高准确度.
• 通过优化ANN培训,证明有效地最小化量子化误差.

结论:

• 快速SNN为在实际应用中部署深度SNN提供了一种可行和高效的方法.
• 该方法成功地平衡了高性能与低延迟,实现了SNNs固有的优势.
• 这些发现为更高效,更强大的事件驱动的神经网络架构铺平了道路.