SiamEFT:适应时间特征提取混合网络用于RGBE多域对象跟踪
Shuqi Liu1, Gang Wang2, Yong Song1
1School of Optics and Photonics, Beijing Institute of Technology, Beijing, China.
Frontiers in neuroscience
|August 23, 2024
概括
我们开发了一种新的语事件框架跟踪器 (SiamEFT),用于使用RGB和事件 (RGBE) 数据进行强大的对象跟踪. SiamEFT增强了时空特征的利用,在复杂的场景中显著提高了准确性和效率.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 人工智能的人工智能
背景情况:
- 对象跟踪通常在复杂的背景下失败.
- 现有的RGBE跟踪方法忽视了独特的时空特征.
- 强大的跟踪需要有效地整合各种数据领域.
研究的目的:
- 提出一种新的追踪器,SiamEFT,以有效利用RGBE功能.
- 为了解决当前RGBE对象跟踪方法的局限性.
- 在具有挑战性的场景中提高跟踪精度和效率.
主要方法:
- 开发了一个适应时间注意模块,用于事件数据聚合.
- 设计了一个混合网络,将人工和尖端神经网络结合起来.
- 实现跨网络融合,用于全面的时空特征提取.
主要成果:
- 在VisEvent和COESOT数据集上,SiamEFT的成功率分别为0.456和0.574.
- 在对象跟踪方面超越了竞争对手的最先进的方法.
- 显示跟踪效率提高了2.3倍.
结论:
- SiamEFT为RGBE对象跟踪提供了卓越的准确性和效率.
- 拟议的方法有效地利用了各种时空特征.
- 在具有挑战性和多样化的视觉场景中得到验证的有效性.


