効率的なRGB-Tトラッキングのためのマルチレベル自己蒸留ベース統合トラッカー

科学分野:

• コンピュータビジョン; 機械学習

背景:

• RGB-サーマル（RGB-T）追跡は、視覚追跡の堅牢性を向上させるために、RGBおよびサーマル赤外線（TIR）データを組み合わせています。既存のRGB-Tトラッカーは、複雑なアーキテクチャを使用することが多く、効率を妨げています。

研究 の 目的:

• 効率的なRGB-T追跡のための新しいマルチレベル自己蒸留（MSD）フレームワークを提案すること。アーキテクチャの変更や追加のパラメータなしに、1ストリームのRGBトラッカーをRGB-T設定に適応させること。

主な方法:

• 共有バックボーンを介したRGBおよびTIR入力の共同処理。自己教師あり（対照損失、モダリティギャップアラインメント損失）および教師あり目的（中間焦点損失、モダリティ固有損失、融合追跡損失）の組み合わせを採用。

主要な成果:

• LasHeR、RGBT234、およびGTOTベンチマークで最先端の追跡精度を達成しました。元のRGBトラッカーの計算効率を維持しました。

結論:

• 最適化されたトレーニング戦略は、マルチモーダルトラッキングにおける複雑なアーキテクチャの変更を上回ることができます。MSDフレームワークは、実世界の展開に大きな実用的な利点を提供します。