SNNTracker:在线高速多对象跟踪与尖摄像头

科学领域:

• 神经形态工程的神经形态工程
• 计算机视觉 计算机视觉

背景情况:

• 传统的多对象跟踪 (MOT) 方法因运动模糊和低率而难以处理高速场景.
• 尖峰摄像机提供连续的时空数据,但现有的基于尖峰的MOT算法在实时性能和时间连续性方面存在局限性.

研究的目的:

• 介绍SNNTracker,这是第一个基于完全尖端神经网络 (SNN) 的MOT算法,专为尖端摄像头设计.
• 通过直接处理尖端流来实现低延迟,高速和强大的多对象跟踪.

主要方法:

• 开发了SNNTracker,集成了一个基于动态神经场 (DNF) 的注意力机制来进行检测.
• 采用基于赢家获取全部 (WTA) 的跟踪模块,具有在线尖峰时刻依赖可塑性 (STDP),用于适应性轨迹学习.
• 直接处理原始尖峰流,避免中间图像重建.

主要成果:

• SNNTracker获得了超过96%的MOTA分数,一些序列达到100%,超过了基于ANN和SNN的最新方法.
• 在遮蔽,照明变化和暂时物体消失的情况下展示了强大的跟踪.
• 在新建的尖摄像头MOT数据集上验证了性能,涵盖了各种现实世界的场景.

结论:

• SNNTracker推进了神经形态视觉的实时感知,特别是在超高速环境中.
• 尖端驱动的SNN为低延迟,高速和无标签的多对象跟踪提供了显著的优势.
• 拟议的方法为机器人和自动驾驶领域更高效,更准确的追踪系统铺平了道路.