Detección de objetos few-shot mediante prompts semánticos y desacoplamiento del clasificador

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Inteligencia Artificial

Sus antecedentes:

• Los métodos de detección de objetos few-shot (FSOD) a menudo utilizan detectores de dos etapas para una mayor precisión.
• La adaptación de detectores de dos etapas a FSOD presenta desafíos debido a la información limitada de las características.

Objetivo del estudio:

• Proponer un nuevo método FSOD que aproveche las indicaciones semánticas y el desacoplamiento del clasificador.
• Fusionar y alinear eficazmente las características de imagen y texto para mejorar la detección de objetos.

Principales métodos:

• Se introdujo un módulo de Indicaciones Semánticas para mejorar las características de aprendizaje few-shot y la comprensión del contenido de la imagen.
• Se empleó la Escalada de Gradiente para mitigar las influencias negativas intermódulos en detectores de dos etapas.
• Se utilizó un módulo de Desacoplamiento del Clasificador para abordar las demandas inconsistentes de características entre las ramas de clasificación y regresión.

Principales resultados:

• El método propuesto logró un rendimiento de vanguardia, superando a los métodos de referencia como DeFRCN hasta en un 3,15 % mAP en configuraciones de 1 disparo en PASCAL VOC.
• Demostró mejoras significativas en la generalización y la robustez dentro de regímenes de pocos datos.

Conclusiones:

• El nuevo enfoque integra eficazmente la información semántica y desacopla las ramas del clasificador para una detección de objetos few-shot superior.
• El método muestra un gran potencial para aplicaciones del mundo real que requieren una detección precisa con datos de entrenamiento limitados.