Preentrenamiento contrastivo de lenguaje e imagen guiado por objetos para el reconocimiento de objetivos de tiro cero

Área de la Ciencia:

• Ciencias de la Computación; Inteligencia Artificial; Aprendizaje Automático

Sus antecedentes:

• Los modelos tradicionales de lenguaje visual (VLM) enfrentan limitaciones en datos semánticos, supresión de fondo y manejo de características multirresolución para aplicaciones de seguridad.
• CLIP, un VLM prominente, presenta limitaciones en el reconocimiento de diversos objetivos debido a una semántica de datos de entrenamiento insuficiente y un procesamiento de características rígido.

Objetivo del estudio:

• Presentar Object-Guide CLIP (OG-CLIP), un VLM avanzado diseñado para un reconocimiento de objetivos superior en sistemas de seguridad.
• Superar las limitaciones de los VLM existentes integrando una nueva aumentación de datos, procesamiento centrado en el objetivo y representación adaptativa de características.

Principales métodos:

• Aumentación de datos impulsada por grafos de conocimiento utilizando un grafo de conocimiento militar de 5000 categorías y un millón de pares de imágenes y texto.
• Un módulo de Región de Interés (ROI) centrado en el objetivo que fusiona máscaras SAM 2 con características ViT para un enfoque mejorado y supresión de fondo.
• Aprendizaje adaptativo multirresolución (MRL) con características continuas y ponderación dinámica de dimensiones para una granularidad flexible.

Principales resultados:

• OG-CLIP logró un 84,28% de precisión media (mAcc) en 99 categorías de objetivos, superando a CLIP base en 11,36 puntos porcentuales.
• Los estudios de ablación confirmaron la contribución significativa de cada componente propuesto al rendimiento general.
• El modelo demostró un rendimiento superior en escenarios complejos, destacando su robustez.

Conclusiones:

• OG-CLIP presenta un marco escalable y adaptable de modelado de visión y lenguaje para el reconocimiento de objetivos militares.
• Las mejoras propuestas abordan eficazmente las limitaciones semánticas, el ruido de fondo y la inflexibilidad de las características en los VLM tradicionales.
• Las direcciones futuras de investigación incluyen la expansión del conjunto de datos y la optimización del modelo para la eficiencia.