通过交替时空变压器来学习交叉注意力区分器,用于视觉跟踪.

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 卷积神经网络 (CNN) 主导视觉跟踪,但与远程空间依赖性作斗争.
• 变压器辅助方法结合了CNN和变压器,改善了特征表示.
• 现有的方法通常将变压器与CNN集成在一起,限制了纯变压器探索.

研究的目的:

• 提出一个新的,纯粹的基于变压器的视觉跟踪模型.
• 克服卷积运算在空间距离信息的关系中的局限性.
• 引入一种半罗式的建筑,完全利用注意力机制.

主要方法:

• 开发多级交替时空变压器 (ATST),灵感来自视觉变压器 (ViT).
• 采用一个时空自我注意模块用于特征提取骨干.
• 使用交叉注意力区分器进行直接响应地图估计,无需卷积或相关性过器.

主要成果:

• 基于ATST的模型对最先进的卷积追踪器表现出了有利的结果.
• 在多个基准指标上实现了与最近的"CNN + Transformer"追踪器相似的性能.
• 与现有方法相比,所需的培训数据要少得多.

结论:

• 纯变压器架构对于视觉跟踪是可行的和有效的.
• 拟议的ATST模型为高效和强大的视觉跟踪提供了一个有希望的方向.
• 以注意力为基础的机制可以取代卷积,以便在跟踪中增强特征表示.