Un Rastreador Unificado Basado en Autodestilación Multinivel para un Rastreo RGB-T Eficiente

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático

Sus antecedentes:

• El rastreo RGB-Térmico (RGB-T) combina datos RGB y de infrarrojo térmico (TIR) para mejorar la robustez del rastreo visual.
• Los rastreadores RGB-T existentes a menudo utilizan arquitecturas complejas, lo que dificulta la eficiencia.

Objetivo del estudio:

• Proponer un novedoso marco de autodestilación multinivel (MSD) para el rastreo RGB-T eficiente.
• Adaptar un rastreador RGB de una sola vía para entornos RGB-T sin modificación arquitectónica ni parámetros adicionales.

Principales métodos:

• Procesamiento conjunto de entradas RGB y TIR a través de una red troncal compartida.
• Empleo de una combinación de objetivos supervisados (pérdida de contraste, pérdida de alineación de brecha de modalidad) y no supervisados (pérdida focal intermedia, pérdidas específicas de modalidad, pérdida de rastreo fusionada).

Principales resultados:

• Logró una precisión de rastreo de vanguardia en los puntos de referencia LasHeR, RGBT234 y GTOT.
• Mantuvo la eficiencia computacional del rastreador RGB original.

Conclusiones:

• Las estrategias de entrenamiento optimizadas pueden superar las complejas modificaciones arquitectónicas en el rastreo multimodal.
• El marco MSD ofrece ventajas prácticas significativas para la implementación en el mundo real.