Desbloqueo del poder de los modelos de difusión de texto a imagen para la estimación de poses agnóstica a la...

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Inteligencia Artificial

Sus antecedentes:

• La estimación de poses agnóstica a la categoría (CAPE) enfrenta desafíos de generalización debido a datos etiquetados limitados en entornos de pocos ejemplos.
• Los métodos existentes a menudo requieren datos anotados extensos de categorías base, lo que limita su aplicabilidad a categorías de objetos no vistas.

Objetivo del estudio:

• Desarrollar un marco novedoso, Prompt Pose Matching (PPM), para CAPE efectivo en un entorno sin categorías base.
• Aprovechar los modelos de difusión de texto a imagen listos para usar para mejorar la detección de puntos clave en categorías de objetos no vistas.

Principales métodos:

• PPM aprende pseudo-prompts a partir de ejemplos de pocos ejemplos utilizando modelos de difusión de texto a imagen para capturar la semántica de los puntos clave.
• Una estrategia de preentrenamiento agnóstica a la categoría y el módulo Foreground-Aware Region Aggregation (FARA) proporcionan una inicialización robusta y supervisión.
• El módulo Foreground-Guided Attention Refinement (FGAR) mejora el auto-atención para una localización precisa de puntos clave, y Prompt Ensemble Inference (PEI) permite una predicción conjunta eficiente.

Principales resultados:

• El marco propuesto PPM demuestra un fuerte rendimiento en CAPE sin depender de datos anotados de categorías base.
• Los pseudo-prompts aprendidos capturan eficazmente la información semántica para la localización de puntos clave en categorías no vistas.
• La integración de los módulos FARA y FGAR asegura un preentrenamiento de prompts confiable y una detección precisa de puntos clave.

Conclusiones:

• PPM ofrece un enfoque potente y flexible para la estimación de poses agnóstica a la categoría, particularmente en escenarios con escasez de datos.
• El marco supera con éxito las limitaciones de los métodos tradicionales al operar de manera independiente de las categorías base.
• Este trabajo destaca el potencial de los modelos de difusión de texto a imagen para avanzar en la investigación de estimación de poses para categorías de objetos novedosas.