架构设计和训练优化尖端神经网络的低延迟和高性能用于分类和细分
Wujian Ye1, Shaozhen Chen2, Haoxian Liu1
1School of integrated Circuits, Guangdong University of Technology, Guangzhou, Guangdong, 510006, China.
概括
本研究介绍了带有新型神经元共享架构和混合衰减策略的尖端神经网络 (SNN),显著减少图像分类和细分任务的延迟和内存使用.
科学领域:
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
背景情况:
- 尖端神经网络 (SNN) 为并行计算提供低功耗和延迟.
- 现有的SNN经常继承人工神经网络 (ANN) 的低效率,导致高延迟和内存需求.
研究的目的:
- 为图像分类和细分开发高效的SNN架构.
- 为了减少SNN中的推断时间步骤和模型参数.
主要方法:
- 提出了一个新的神经元共享区块 (NS-Block) 来减少参数和更快的推断.
- 实施了对生物学上可信的神经元活动的混合减弱策略.
- 引入了一个时间相关 (TC) 损失算法,以优化SNN训练.
- 开发了Spiking-NSNet (基于ResNet) 和Spiking-SSegNet (基于UNet) 的前期培训和转移学习.
主要成果:
- 尖端NSNet只用四个时间步骤实现了高准确度 (例如,在CIFAR-10上94.65%).
- 尖端-SSegNet达到了43.2% (PASCAL-VOC2012) 和53.4% (DDD17) 的mIoU.
- 与传统的ANN相比,有效地减少了时间步骤和参数.
结论:
- 拟议的Spiking-NSNet和Spiking-SSegNet为SNN提供了显著的效率提高.
- 新的NS-Block,混合减弱和TC损失有助于更快的融合和更好的性能.
- 这项工作为计算机视觉中更实用,更有效的SNN应用铺平了道路.


