CVTrack:用于视觉跟踪的组合卷积神经网络和视觉转换器融合模型

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 目前的单对象追踪器主要使用卷积神经网络 (CNN) 或视觉转换器 (ViT) 作为其骨干.
• 美国有线电视新闻网在当地特色提取方面表现出色,但在全球代表性方面却扎不堪.
• ViTs通过自我注意力捕捉远程依赖,但可能会错过局部细节.

研究的目的:

• 解决现有的单个物体跟踪方法的局限性.
• 提出一种新的跟踪算法,CVTrack,它集成了本地和全球特征提取能力.
• 为了实现最先进的性能,同时保持实时执行速度.

主要方法:

• 推出了CVTrack,这是一个目标跟踪算法,具有平行双分支骨干网络,结合了CNN和变压器架构.
• 采用双向信息交互通道,有效地融合本地 (CNN) 和全球 (变压器) 功能.
• 使用深度交叉相关和基于变压器的方法,用于全面的模板和搜索区域,在预测之前进行特征融合.

主要成果:

• 在五个基准数据集中,CVTrack实现了最先进的性能.
• 拟议的追踪器展示了实时执行能力.
• 废弃研究证实了平行双分支骨干中的单个模块的有效性.

结论:

• 平行双分支的骨干有效地利用了CNN和变压器的优势,实现了卓越的对象跟踪.
• CVTrack提供了一个强大的解决方案,用于单个对象跟踪,平衡精度和速度.
• 融合策略显著增强模板和搜索区域特征之间的交互.