SD²-ReID: Un marco de destilación desacoplado semántico-estilístico para la reidentificación robusta de objetos...

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• La reidentificación de objetos multimodales (ReID) enfrenta desafíos para alinear las diferencias de estilo entre modalidades mientras se mantiene la consistencia de la identidad.
• Los métodos existentes tienen dificultades para desacoplar las características semánticas de los estilos específicos de la modalidad, lo que lleva a representaciones ruidosas y a una reducción del rendimiento.

Objetivo del estudio:

• Proponer un nuevo marco de ReID multimodal, SD²-ReID (Destilación Desacoplada Semántico-Estilística para ReID), para mejorar la consistencia modal y la discriminación semántica entre modalidades.
• Abordar las limitaciones de los métodos existentes en la separación de características semánticas y estilos específicos de la modalidad para un ReID más robusto.

Principales métodos:

• Desarrolló un Extractor de Características Multimodales Híbrido (HMFE) con estructuras superficiales compartidas y estructuras profundas específicas de la modalidad para la extracción de características de grano fino.
• Introdujo un Módulo de Destilación Desacoplada (DDM) que utiliza restricciones duales para la separación explícita de características semánticas y de estilo.
• Integró una estrategia de enmascaramiento guiada por atención y aprendizaje contrastivo dentro de un Módulo de Aprendizaje Autosupervisado Jerárquico (HSLM) para mejorar la robustez.

Principales resultados:

• Logró una mejora sinérgica de la consistencia semántica, la invarianza modal y la robustez de las características.
• Demostró efectividad en tres conjuntos de datos de referencia de ReID de objetos multimodales.
• Validó la mejora de la consistencia semántica entre modalidades y la capacidad discriminatoria.

Conclusiones:

• SD²-ReID reconcilia eficazmente las discrepancias de estilo y la consistencia semántica en ReID multimodal.
• El método propuesto equilibra el rendimiento del reconocimiento y la eficiencia de la inferencia sin requerir módulos de fusión multimodal.
• El marco mejora la robustez frente a oclusiones locales y variaciones de estilo, superando a los enfoques existentes.