AdaAlign: Una solución unificada para la recuperación de imágenes tradicional y moderna basada en bocetos de cero...

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Inteligencia Artificial

Sus antecedentes:

• La recuperación de imágenes basada en bocetos de cero disparos (ZS-SBIR) enfrenta desafíos debido a las diferencias de dominio entre bocetos y fotos, y la brecha semántica entre clases conocidas y desconocidas.
• Los métodos tradicionales que utilizan pequeños codificadores de visión y los modelos modernos de visión y lenguaje (VLM) tienen limitaciones, y ningún enfoque unificado aborda eficazmente los desafíos de ZS-SBIR.

Objetivo del estudio:

• Proponer un enfoque eficaz de «Adaptación y Alineación (AdaAlign)» para superar las limitaciones de los métodos existentes en ZS-SBIR.
• Mejorar la representación entre dominios y cerrar la brecha semántica para obtener representaciones visuales más generalizables.

Principales métodos:

• Se implementaron Adaptadores ligeros o LoRA para aprender conceptos abstractos de bocetos y mejorar la representación entre dominios, aliviando la heterogeneidad del dominio.
• Se propuso un marco de destilación para alinear los incrustados de imágenes aprendidos con incrustados de texto semánticamente más ricos, cerrando la brecha semántica.
• Se integró AdaAlign tanto en modelos pequeños tradicionales (ResNet50, DINO-S) como en VLM modernos (SigLIP).

Principales resultados:

• Se logró un rendimiento de vanguardia al integrar AdaAlign en varios modelos.
• Se demostró la superioridad del método en precisión y flexibilidad de recuperación a través de experimentos exhaustivos en tres conjuntos de datos de referencia.

Conclusiones:

• El enfoque AdaAlign aborda eficazmente los desafíos clave en ZS-SBIR al mejorar las capacidades entre dominios y la alineación semántica.
• El método propuesto ofrece una solución unificada y flexible, logrando un rendimiento superior en diferentes arquitecturas de modelos.