斯派克-HAR++:一个节能,轻量级的平行尖端变压器,用于基于事件的人类动作识别
Xinxu Lin1,2,3, Mingxuan Liu4, Hong Chen1,3
1School of Integrated Circuits, Tsinghua University, Beijing, China.
Frontiers in computational neuroscience
|December 11, 2024
概括
本研究介绍了Spike-HAR和Spike-HAR++,用于基于事件的人类行动识别 (HAR) 的新型尖端神经网络 (SNN). 这些模型高效地处理事件摄像机数据,实现卓越的准确性和低功耗.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 神经形态工程的神经形态工程
背景情况:
- 基于事件的摄像头为人类行动识别 (HAR) 提供了优势,因为它们具有高动态范围,时间分辨率,功率效率和低延迟.
- 尖端神经网络 (SNN) 非常适合基于事件的数据,因为它们的事件驱动性和低功耗相比传统的神经网络.
研究的目的:
- 引入新的端到端尖端神经网络 (SNN),Spike-HAR和Spike-HAR++,用于基于事件的人类行为识别 (HAR).
- 通过结合尖端变压器机制来提高HAR的SNN的准确性和计算效率.
主要方法:
- 开发了Spike-HAR,其中有一个用于降低噪音的尖峰注意力分支,以及一个简化的尖峰自我注意力变压器块,以提高效率.
- 将Spike-HAR扩展到Spike-HAR++通过修改spike关注分支来进行更高维度的特征提取,从而提高分类性能.
- 在四个不同的HAR数据集上进行了全面评估:SL-Animals-DVS,N-LSA64,DVS128 Gesture和DailyAction-DVS.
主要成果:
- 在多个数据集的基于事件的HAR中,Spike-HAR和Spike-HAR++展示了卓越的性能.
- 拟议的模型实现了高精度与显著低能耗 (0.03mJ的Spike-HAR,0.06mJ的Spike-HAR++).
- 这些模型具有小尺寸 (Spike-HAR的0.7M,Spike-HAR++的1.8M),表明了高效率.
结论:
- 斯派克-HAR和斯派克-HAR++代表了基于SNN的基于事件的HAR的重大进步,提供了一个有前途的新基准.
- 拟议的模型实现了最先进的性能,具有显著的功率和计算效率.
- 代码的可用性有助于HAR社区的进一步研究和采用.
