IDSNN:通过初始化和蒸,实现高性能和低延迟的SNN培训.
Xiongfei Fan1, Hong Zhang1, Yu Zhang1,2
1State Key Laboratory of Industrial Control Technology, College of Control Science and Engineering, Zhejiang University, Hangzhou 310027, China.
Biomimetics (Basel, Switzerland)
|August 25, 2023
概括
本研究介绍了IDSNN,这是一种使用人工神经网络 (ANN) 训练尖端神经网络 (SNN) 的新方法. IDSNN显著提高了SNN的准确性和训练速度,使它们在现实应用中变得更加实用.
科学领域:
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
- 机器学习 机器学习
背景情况:
- 尖端神经网络 (SNN) 使用尖端提供仿生和高效的计算.
- 当前的SNN培训方法导致精度低,推理延迟高.
- 现有的方法通常涉及人工神经网络 (ANN) 的直接培训或转换.
研究的目的:
- 解决SNN中低精度和高延迟的局限性.
- 提出一个新的培训管道,IDSNN,以提高SNN的性能.
- 利用ANN作为参数初始化和知识蒸的来源.
主要方法:
- 开发了IDSNN,一个使用参数初始化和知识蒸的培训管道.
- 雇佣了ANN作为参数来源和知识教师.
- 在CIFAR10和CIFAR100数据集上评估了IDSNN.
主要成果:
- 获得了竞争中的top-1准确度:在CIFAR10上达到94.22%,在CIFAR100上达到75.41%.
- 演示了较低的推理延迟.
- 与直接SNN训练相比,展示了14倍更快的融合速度.
结论:
- IDSNN有效地克服了SNN中的准确性和延迟问题.
- 拟议的方法最大限度地提高了ANN的知识传输.
- 由于提高效率和更快的融合,IDSNN对SNN应用具有显著的实际价值.
