使用模板桥接搜索交互和目标保存模板更新进行RGB-T跟踪

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器人技术 机器人技术 机器人技术

背景情况:

• RGB-热 (RGB-T) 追踪旨在利用互补的RGB和热红外 (TIR) 数据进行增强的对象追踪.
• 现有的方法往往遭受粗的特征融合,有限的交叉模式交互,以及不充分利用时间上下文.

研究的目的:

• 开发用于RGB-T跟踪的先进技术,克服先前技术的局限性.
• 改进RGB-T对象跟踪中的交叉模式交互和上下文建模.

主要方法:

• 提出了一个新的模板桥接搜索区域交互 (TBSI) 模块,用于有效的交叉模式特征融合.
• 引入了基于照明因子的适应性聚变的照明引导聚变 (IGF) 模块.
• 开发了一个目标保存模板更新 (TPTU) 策略,以利用时间上下文来改变外观.
• 将这些模块集成到视觉变压器 (ViT) 骨干中,用于联合处理.

主要成果:

• 拟议的方法在三个流行的RGB-T跟踪基准上实现了新的最先进的性能.
• 与现有方法相比,在跟踪准确性和稳定性方面取得了显著的改进.
• 验证了TBSI,IGF和TPTU模块在增强跨模式交互和上下文建模方面的有效性.

结论:

• 开发的RGB-T跟踪框架有效地解决了跨模式交互和时间上下文建模方面的局限性.
• 拟议的模块为未来的多式联络物体跟踪研究提供了一个有希望的方向.
• 该方法为多样化和具有挑战性的跟踪场景提供了强大而准确的解决方案.