从模式有效性的角度重新审视RGBT跟踪基准:一个新的基准,问题和解决方案
概括
新的RGBT跟踪基准MV-RGBT解决了多模式保证 (MMW) 场景. 融合策略并不总是有利的,特别是在MMW条件下,正如所提出的MoETrack解决方案所示.
科学领域:
- 计算机视觉 计算机视觉
- 传感器融合式传感器
- 机器人技术 机器人技术 机器人技术
背景情况:
- 在具有挑战性的多模式保证 (MMW) 场景中,RGB-热 (RGBT) 追踪提供了稳定性.
- 由于常见场景数据,现有的RGBT基准缺乏代表性,导致在严重的成像条件下出现故障.
- MMW场景通常涉及无效的RGB (极端照明) 或热红外 (TIR) 模式.
研究的目的:
- 介绍MV-RGBT,这是MMW场景中RGBT跟踪的新基准.
- 在严峻的成像条件下解决RGBT跟踪中的"何时放电"问题.
- 建议MoETrack,一个混合专家模型适应RGBT融合.
主要方法:
- 收集的MV-RGBT数据集专门来自MMW场景与模式有效性考虑.
- 将MV-RGBT划分为基于构成评估的有效模式的子集.
- 开发了MoETrack,使用多名专家进行融合决策,可获得信任评分.
主要成果:
- MV-RGBT是最多样化的RGBT基准,在19个场景中包含36个对象类别.
- 证明传感器融合在MMW场景中并不普遍有益.
- 在MV-RGBT,GTOT和LasHeR基准上,MoETrack实现了最先进的性能.
结论:
- 通过专注于具有挑战性的MMW条件,MV-RGBT显著推进了RGBT跟踪研究.
- 像MoETrack这样的自适应融合策略对于在各种MMW场景中强大的RGBT跟踪至关重要.
- 这些发现强调了需要仔细考虑融合时间和RGBT跟踪的必要性.
