Aprendizaje Cero-Toma Composicional Parcialmente Supervisado por Alineación de Distribución Equilibrada por Clases

Área de la Ciencia:

• Ciencias de la Computación
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• El Aprendizaje Cero-Toma Composicional Parcialmente Supervisado (pCZSL) enfrenta desafíos para reconocer nuevas composiciones debido a las variables características del estado entre objetos y las dependencias de escala.
• Los métodos existentes luchan por modelar eficazmente estas complejas interacciones de características.

Objetivo del estudio:

• Desarrollar una arquitectura avanzada para pCZSL que reconozca con precisión las composiciones novedosas de objetos y estados.
• Abordar la variabilidad de las características del estado que dependen del contexto y la escala del objeto.

Principales métodos:

• Una arquitectura novedosa que emplea un Extractor de Características Jerárquicas (HFE) basado en el transformador Swin para capturar interacciones semánticas entre las características del estado y del objeto.
• Un módulo de Agregación de Contexto Discriminativo para analizar las características del objeto en sus respectivas escalas utilizando capas HFE intermedias.
• Una función de pérdida de alineación de distribución que minimiza las diferencias entre las predicciones de imágenes fuertemente y débilmente aumentadas, incorporando una reponderación específica de la clase para gestionar el desequilibrio de datos.

Principales resultados:

• El método propuesto demuestra un rendimiento superior en tres conjuntos de datos de referencia para tareas de pCZSL.
• La arquitectura captura eficazmente características jerárquicas e información contextual crucial para el aprendizaje composicional.
• La pérdida de alineación de distribución con reponderación aprovecha con éxito los datos parcialmente etiquetados y mitiga los problemas de desequilibrio de clases.

Conclusiones:

• El enfoque desarrollado avanza significativamente el estado del arte en el Aprendizaje Cero-Toma Composicional Parcialmente Supervisado.
• Los módulos Hierarchical Feature Extractor y Discriminative Context Aggregation son efectivos para manejar variaciones de características y dependencias de escala.
• Este trabajo proporciona un marco robusto para reconocer composiciones visuales complejas con supervisión limitada.