S4-KD:一个单步 SiamFC++用于对象跟踪与知识蒸.
Wenzhuo Liu1, Shuiying Xiang2, Tao Zhang1
1State Key Laboratory of Integrated Service Networks, Xidian University, Xi'an 710071, China.
概括
尖端神经网络 (SNN) 通过将时间步骤减少到一个来优化对象跟踪,实现可比性能的显著降低能源消耗. 知识蒸进一步提高了性能,为基于SNN的跟踪设置了一个新的最先进的状态.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 神经形态工程的神经形态工程
背景情况:
- 尖端神经网络 (SNN) 通过二进制尖端提供高效率和低能耗的信息处理.
- 目前的SNN通常需要多个时间步骤,导致延迟和功耗增加,阻碍现实应用.
- 为像对象跟踪这样的任务优化SNN,需要在不牺牲准确性的情况下降低时间复杂性.
研究的目的:
- 开发一个高效的,单个时间步骤的Spiking神经网络框架用于对象跟踪.
- 通过知识蒸来提高单步SNN的跟踪性能.
- 建立基于SNN的对象跟踪新技术,以提高效率和准确性.
主要方法:
- 提出了单步尖SiamFC++ (S4) 框架,通过使用AlexNet的时间修剪将时间步骤压缩到一个.
- 引入了知识蒸 (KD) 方法 (S4-KD),使用基于AlexNet的ANN作为教师和S4模型作为学生.
- 设计了三个不同的蒸损失函数,以促进S4-KD的知识转移.
主要成果:
- S4框架实现了跟踪性能,与原来的多步骤Spiking SiamFC++可比,只需一个时间步骤.
- 在OTB100,UAV123和VOT2018基准测试中,S4-KD表现优异,取得了最先进的结果.
- 与原来的Spiking SiamFC++相比,S4-KD的估计能耗仅为34.6%.
结论:
- 单阶段SNNs可用于高效的对象跟踪,保持竞争性表现.
- 知识蒸是一种有效的策略,可以提高压缩SNN的性能.
- S4-KD跟踪器代表了基于SNN的对象跟踪的重大进步,提供了最先进的效率和准确性.
