TSDTrack: Rastreador siamés de doble rama aumentado con transformador con regresión consciente de la confianza y...

Área de la Ciencia:

• Visión por Computadora; Inteligencia Artificial; Aprendizaje Automático

Sus antecedentes:

• Las redes siamesas son efectivas para el seguimiento de objetos visuales, pero luchan con plantillas estáticas, contexto limitado e integración de características, especialmente durante la oclusión o el desorden.; Los métodos existentes enfrentan desafíos para mantener la precisión del seguimiento debido a las variaciones del fondo y los cambios en la apariencia del objetivo.

Objetivo del estudio:

• Desarrollar un rastreador de objetos visuales robusto y consciente de la calidad que supere las limitaciones de las redes siamesas tradicionales.; Mejorar el rendimiento del seguimiento mediante la fusión de características basada en transformadores y la actualización adaptativa de plantillas.

Principales métodos:

• Se propuso TSDTrack, un rastreador siamés aumentado con transformador que utiliza una red ResNet como columna vertebral para la extracción de características multiescala.; Se implementó un módulo transformador con atención global para una mayor consistencia semántica y espacial.; Se introdujo una rama consciente de la confianza (CAB) y el aprendizaje de distribución de regresión (RDL) para una localización precisa y una evaluación de la calidad.; Se desarrolló una estrategia de actualización de plantillas controlada por confianza para el modelado adaptativo de la apariencia.

Principales resultados:

• TSDTrack logró un rendimiento de vanguardia en conjuntos de datos de referencia: LaSOT (55,5% de éxito), GOT-10k (67,5% de AO), OTB100 (71,6% de AUC) y UAV123 (66,4% de éxito).; El rastreador demostró una precisión y robustez superiores en comparación con rastreadores siameses y basados en transformadores recientes.; Las ramas de aprendizaje de distribución y conscientes de la confianza mejoraron la precisión de la localización en condiciones de incertidumbre.

Conclusiones:

• TSDTrack ofrece un avance significativo en el seguimiento de objetos visuales, particularmente en escenarios desafiantes.; La integración de transformadores y mecanismos conscientes de la calidad proporciona un marco robusto para el seguimiento adaptativo.; Los métodos propuestos abordan eficazmente las limitaciones en el modelado del contexto y la integración de características para rastreadores siameses.