Aprendizaje multimodal basado en CLIP para la reidentificación de personas que cambian de ropa

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Aprendizaje automático

Sus antecedentes:

• El entrenamiento previo de lenguaje-imagen contrastante (CLIP) es prometedor en la reidentificación en persona (ReID) debido a su comprensión intermodal.
• Las variaciones de ropa desafían significativamente la precisión del ReID de la persona, especialmente en los escenarios de cambio de ropa (CC ReID).
• La aplicación directa de CLIP en CC ReID está limitada por su enfoque en atributos estáticos como la ropa.

Objetivo del estudio:

• Proponer un nuevo marco de aprendizaje multimodal basado en CLIP (CMFF) diseñado específicamente para la reidentificación de personas que cambian de ropa (CC ReID).
• Abordar las limitaciones de los modelos CLIP existentes en el manejo de los cambios de características dinámicas causados por las variaciones de la ropa.
• Mejorar la precisión y la solidez de la identificación de personas en situaciones de cambio de vestimenta.

Principales métodos:

• Desarrolló un módulo de mejora de identidad consciente de la postura (PIE) para fortalecer las características intrínsecas de la identidad y reducir la interferencia de la ropa utilizando una pérdida de clasificación.
• Se introdujo un módulo de atención híbrido global-local (GLHA) para fusionar las características de la cabeza y las globales a través de la atención cruzada, mejorando el reconocimiento de la información clave de la cabeza.
• Propuso un módulo de mejora interactiva multicapa basado en gráficos (GMIE) para integrar características multicapa, aumentando la conciencia contextual de las representaciones de escala múltiple.

Principales resultados:

• El marco CMFF propuesto demuestra un rendimiento superior en múltiples conjuntos de datos de referencia sobre peatones para CC ReID.
• El módulo PIE mejora efectivamente la información específica de la identidad, al tiempo que mitiga el impacto de las variaciones de la ropa.
• Los módulos GLHA y GMIE contribuyen a mejorar el reconocimiento global y la comprensión de las características a escala múltiple, respectivamente.

Conclusiones:

• El marco del CMFF ofrece un avance significativo para abordar los desafíos de la reidentificación de personas que cambian de ropa.
• La integración de la mejora de la conciencia de la postura, la atención híbrida y la interacción de características de múltiples capas conduce a un rendimiento de vanguardia.
• Este enfoque proporciona una solución sólida para los sistemas de identificación de personas que operan en entornos dinámicos y difíciles.