动态视觉传感器驱动的尖端神经网络用于基于低功耗事件的跟踪和识别

科学领域:

• 神经形态工程的神经形态工程
• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 尖端神经网络 (SNN) 为动态视觉传感器 (DVS) 提供节能处理.
• 在优化SNN培训和处理实时嵌入式应用程序的时空复杂性方面仍然存在挑战,例如对象跟踪.
• 现有的方法通常依赖于传统的卷积神经网络 (CNN),限制了DVS数据的效率.

研究的目的:

• 提出一种新的,纯粹的SNN框架,即动态跟踪与事件注意力尖端网络 (DTEASN).
• 为解决基于DVS的实时嵌入式传感的SNN训练和时空复杂性的局限性.
• 为了绕过CNN操作,减少GPU依赖,提高效率.

主要方法:

• 开发了一个事件驱动的多尺度注意力机制和一个时空事件卷轴器,用于从DVS事件中增强特征提取.
• 引入了事件加权尖端损失 (EW-SLoss),以优先考虑信息事件并提高噪音稳定性.
• 整合了轻量级事件跟踪机制和定制的突触连接规则,以提高低功耗边缘部署的效率.

主要成果:

• 与传统方法相比,DTEASN在DVS对象识别和跟踪基准方面表现优异.
• 在精度,延迟,事件吞吐量,峰值率,内存足迹和峰值效率方面取得了改进.
• 在典型的DVS设置下展示了提高的整体计算效率.

结论:

• DTEASN框架有效地使用纯 SNN 架构处理 DVS 事件流.
• 拟议的组件显著增强时空特征提取和学习优化.
• DTEASN适用于高度并行的神经形态硬件,使嵌入式应用程序能够在传感器上或近传感器推断.