SAMURAI: Memoria consciente del movimiento para el seguimiento de objetos visuales sin entrenamiento con SAM 2

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• El Segment Anything Model 2 (SAM 2) se destaca en la segmentación de objetos, pero tiene dificultades con el seguimiento de objetos visuales, especialmente en escenarios concurridos u ocluidos.
• El mecanismo de memoria fija de SAM 2 acumula errores durante las oclusiones, lo que lleva a un seguimiento inexacto y a la deriva de la identidad.
• Los métodos existentes a menudo requieren reentrenamiento o ajuste extensos para adaptar los modelos de segmentación a tareas de seguimiento.

Objetivo del estudio:

• Presentar SAMURAI, una adaptación mejorada de SAM 2 diseñada para el seguimiento robusto de objetos visuales.
• Abordar las limitaciones de SAM 2 en el manejo de escenarios de seguimiento complejos como oclusiones y escenas concurridas.
• Desarrollar un método de seguimiento sin entrenamiento que aproveche las señales de movimiento temporal y una estrategia optimizada de selección de memoria.

Principales métodos:

• SAMURAI integra señales de movimiento temporal con una novedosa estrategia de selección de memoria consciente del movimiento.
• El modelo predice el movimiento del objeto y refina la selección de máscaras dinámicamente.
• No se requiere reentrenamiento ni ajuste del modelo SAM 2 base.

Principales resultados:

• SAMURAI demuestra un sólido rendimiento sin entrenamiento en múltiples conjuntos de datos de referencia de VOT.
• Logró resultados de vanguardia en los puntos de referencia LaSOT_ext, GOT-10k y TrackingNet.
• Ofreció un rendimiento competitivo en los puntos de referencia LaSOT, VOT2020-ST, VOT2022-ST y SA-V.

Conclusiones:

• SAMURAI ofrece una solución robusta y precisa para el seguimiento de objetos visuales, superando las limitaciones de SAM 2.
• La estrategia de selección de memoria consciente del movimiento mejora la precisión del seguimiento en entornos dinámicos complejos.
• SAMURAI muestra un potencial significativo para aplicaciones del mundo real que requieren un seguimiento de objetos confiable.