探索用于高性能RGB-T跟踪的多模态时空环境

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• RGB-T跟踪依赖于多模数据和跨的空间关系.
• 现有的追踪器经常忽视这些关键的多模式空间和时间方面.
• 这导致了强大的跟踪的局限性,特别是在复杂的场景中.

研究的目的:

• 为增强RGB-T跟踪提出一个新的多式模式空间时间上下文 (MMSTC) 网络.
• 解决现有追踪器在利用多模式空间关系和时间一致性方面的局限性.
• 提高RGB-T跟踪在具有挑战性的环境中的稳定性和适用性.

主要方法:

• 开发了一个基于变压器的网络 (MMSTC) 用于RGB-T跟踪.
• 引入了一个多模转换器编码器 (MMTE),用于编码空间上下文和融合多模特征.
• 提出了一种质量意识的变压器解码器 (QATD),用于传播时间跟踪线索.

主要成果:

• 在五个普遍的RGB-T跟踪基准上,MMSTC网络表现出卓越的性能.
• 与现有的RGB-T跟踪方法相比,取得了新的最先进的结果.
• 拟议的网络架构是多功能,可以集成到各种跟踪框架.

结论:

• 该MMSTC网络有效地利用多模式空间上下文和时间信息来实现强大的RGB-T跟踪.
• 拟议的方法显著提升了RGB-T跟踪的最新技术.
• 在RGB-T跟踪中,MMSTC网络为未来的研究和实际应用提供了一个有希望的方向.