为RGB-T跟踪提供双级模式脱偏差

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 机器人技术 机器人技术 机器人技术

背景情况:

• 强大的跟踪需要整合红绿蓝 (RGB) 和热红外 (TIR) 数据.
• 现有的RGB-T追踪器由于依赖RGB预训练模型和模式响应不一致而表现出偏差.
• 这些偏见表现为TIR模式处理中的特征级和决策级差异.

研究的目的:

• 为RGB-T跟踪提出一个新的双层模式去偏差框架.
• 消除TIR模式中的特征级和决策级偏见.
• 为了提高RGB-T跟踪系统的稳定性和准确性.

主要方法:

• 开发了一个联合的红外融合适配器,包括一个红外感应适配器和一个交叉融合适配器,以减轻特征级偏差,并融合补充信息.
• 引入了响应脱蒸策略,以明确解决决策层面的偏见.
• 该框架旨在缓解适应性偏差,并在RGB和TIR模式之间进行一致的决策.

主要成果:

• 拟议的框架有效地减轻了RGB-T跟踪中的特征级和决策级偏差.
• 在受欢迎的基准标准上的实验验证表明,跟踪性能有了显著的改善.
• 该方法通过平衡RGB和TIR模式贡献来实现更一致和更准确的决策.

结论:

• 双层模式去偏差框架为克服RGB-T跟踪中固有的偏差提供了一个有希望的解决方案.
• 拟议的适配器和蒸策略有效地利用互补信息,同时确保模式平衡.
• 这项工作推进了强大的多模式视觉跟踪的最新技术.