Atención cruzada impulsada por el lenguaje para la fusión de imágenes visibles e infrarrojas utilizando CLIP

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• La robótica

Sus antecedentes:

• Las imágenes de una sola modalidad luchan en entornos de poca luz o complejos.
• La fusión multimodal (visible e infrarroja) es crucial para la percepción del robot.
• La comprensión mejorada de la escena ayuda a la navegación, la localización y la percepción ambiental.

Objetivo del estudio:

• Desarrollar una red de fusión de imágenes visibles e infrarrojas guiada por texto.
• Mejorar la eficacia de la fusión multimodal mediante la integración de información semántica.
• Para generar imágenes fusionadas de alta calidad con mayor detalle visual y comprensión semántica.

Principales métodos:

• Un nuevo marco que combina una rama de fusión de imágenes y un módulo guiado por texto.
• Mecanismo de atención transversal para la fusión de características multimodales.
• Modelo CLIP para extraer señales semánticas de las descripciones de texto para guiar la fusión.

Principales resultados:

• Logró un buen rendimiento cuantitativo en los conjuntos de datos de referencia LLVIP y TNO.
• Demostrado rendimiento robusto y escalable en tareas de percepción multimodal.
• Generó imágenes de alta calidad con colores fusionados que enriquecen la comprensión semántica.

Conclusiones:

• La red de fusión guiada por texto que se propone integra eficazmente la información visual y lingüística.
• El marco ofrece una solución prometedora para aplicaciones de percepción multimodal en el mundo real.
• Las capacidades de fusión mejoradas son críticas para los sistemas autónomos en entornos complejos.