直接训练高性能尖端神经网络用于对象识别和检测.
Hong Zhang1, Yang Li1, Bin He1
1State Key Laboratory of Industrial Control Technology, College of Control Science and Engineering, Zhejiang University, Hangzhou, China.
Frontiers in neuroscience
|August 24, 2023
概括
本研究介绍了Spiking Gate (SG) ResNet和注意力尖端解码器 (ASD),用于直接训练尖端神经网络 (SNN). 这些方法提高了准确性,并克服了SNN训练对物体识别和检测任务的挑战.
科学领域:
- 人工智能的人工智能
- 计算神经科学是一种神经科学.
- 机器学习 机器学习
背景情况:
- 尖端神经网络 (SNN) 在神经形态硬件上提供能源效率.
- 由于不可区分的尖端信号和复杂的动态,SNNs的直接训练具有挑战性.
- 关键问题包括梯度消失/爆炸,信号解码和上游任务适用性.
研究的目的:
- 开发有效的方法,直接培训高绩效的SNNs.
- 为了解决梯度问题并改进尖端信号解码.
- 为了使SNN能够执行复杂的任务,例如对象识别和检测.
主要方法:
- 引入了Spiking Gate (SG) ResNet与二进制选择门来实现剩余学习并减轻梯度消失/爆炸.
- 提出了一个注意力尖峰解码器 (ASD),与速率编码相比,它提供了优越的尖峰信号解码.
- 将SG ResNet和ASD集成到Spiking RetinaNet中,用于混合SNN-ANN对象检测.
主要成果:
- 在CIFAR-10 (94.52%顶级-1) 和CIFAR-100 (75.64%顶级-1) 上,SG ResNet在最小的模拟时间步骤下表现出卓越的精度.
- 使用SG ResNet34的Spiking RetinaNet在MSCOCO对象检测数据集上获得了0.296的mAP.
- 提出的方法有效地克服了梯度消失/爆炸,并增强了信号解码.
结论:
- SG ResNet和ASD对于SNNs的直接培训是有效的,可以实现对象识别的高性能.
- 第一个直接训练的SNN-ANN混合探测器 (Spiking RetinaNet) 已被开发用于RGB图像.
- 这些进步为更高效,更强大的SNN应用铺平了道路.
