SAMURAI: SAM 2 を用いたトレーニングフリーの視覚的オブジェクトトラッキングのためのモーション認識メモリ

科学分野:

• コンピュータビジョン
• 人工知能
• 機械学習

背景:

• Segment Anything Model 2（SAM 2）はオブジェクトセグメンテーションに優れていますが、特に混雑したシナリオや閉塞のあるシナリオでは、視覚的オブジェクトトラッキングに苦労します。
• SAM 2の固定メモリメカニズムは、閉塞中にエラーを蓄積し、不正確なトラッキングとIDドリフトにつながります。
• 既存の方法では、トラッキングタスクにセグメンテーションモデルを適応させるために、広範な再トレーニングまたはファインチューニングが必要になることがよくあります。

研究 の 目的:

• SAMURAI、つまり堅牢な視覚的オブジェクトトラッキング用に設計されたSAM 2の改良版を紹介すること。
• SAM 2の、閉塞や混雑したシーンなどの複雑なトラッキングシナリオを処理する上での限界に対処すること。
• 時間的モーションキューと最適化されたメモリ選択戦略を活用するトレーニングフリーのトラッキング方法を開発すること。

主な方法:

• SAMURAIは、時間的モーションキューと新しいモーション認識メモリ選択戦略を統合します。
• モデルはオブジェクトの動きを予測し、マスク選択を動的に洗練します。
• ベースのSAM 2モデルの再トレーニングまたはファインチューニングは必要ありません。

主要な成果:

• SAMURAIは、複数のVOTベンチマークデータセットで強力なトレーニングフリーパフォーマンスを示しました。
• LaSOT_ext、GOT-10k、およびTrackingNetベンチマークで最先端の結果を達成しました。
• LaSOT、VOT2020-ST、VOT2022-ST、およびSA-Vベンチマークで競争力のあるパフォーマンスを提供しました。

結論:

• SAMURAIは、SAM 2の限界を克服する、堅牢で正確な視覚的オブジェクトトラッキングソリューションを提供します。
• モーション認識メモリ選択戦略は、複雑な動的環境でのトラッキング精度を向上させます。
• SAMURAIは、信頼性の高いオブジェクトトラッキングを必要とする実世界のアプリケーションに大きな可能性を示しています。