重新聚焦对参数高效的热红外对象跟踪的关注

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 热红外 (TIR) 追踪的深度学习模型面临挑战,因为训练数据有限.
• RGB模型的完整微调 (FFT) 是常见的,但效率低下,并可能导致表示崩.
• 现有的参数效率微调 (PEFT) 方法缺乏任务指导的上下关注.

研究的目的:

• 引入ReFocus,这是一个新的PEFT方法,用于适应RGB基础模型用于TIR跟踪.
• 为了实现任务指导的自上而下的注意力,以改善TIR跟踪中的代表性学习.
• 在TIR跟踪中实现最先进的 (SOTA) 性能,提高培训效率.

主要方法:

• ReFocus采用了由高层任务特定信号引导的自上而下的注意力机制.
• 该方法结了整个基础模型,只训练查询引导的特征选择和自上而下的块.
• 它适应预训练的RGB模型用于下游的TIR跟踪任务.

主要成果:

• ReFocus在五个TIR跟踪基准上实现了SOTA的表现.
• 该方法在TIR跟踪中显示了基础跟踪器的显著性能改进.
• 废弃性研究证实了ReFocus的有效性,适应更轻的模型和不同的跟踪框架.

结论:

• ReFocus为TIR跟踪提供了优越的FFT和自下而上的PEFT方法的替代方案.
• 该方法通过减少培训参数和提高学习稳定性来实现可比或更好的性能.
• ReFocus有效地利用特定任务的信号,实现高效和高性能的TIR跟踪.