CAFusion: Una red ConvMixer progresiva para la fusión de imágenes infrarrojas y visibles consciente del contexto

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Procesamiento de imágenes

Sus antecedentes:

• El aprendizaje profundo (DL) para la fusión de imágenes a menudo implica modelos complejos, lo que genera altos costos computacionales y pérdida de información.
• Los métodos existentes pueden tener dificultades para capturar información contextual multiescala de manera eficiente.

Objetivo del estudio:

• Introducir CAFusion, un nuevo marco de aprendizaje profundo para la fusión de imágenes visibles (VI) e infrarrojas (IR).
• Mejorar la calidad de la fusión y la eficiencia computacional en comparación con los métodos existentes.

Principales métodos:

• Desarrolló un bloque ConvMixer consciente del contexto que integra convoluciones dilatadas y separables en profundidad.
• Implementó una estrategia de fusión progresiva multinivel intermodalidad basada en atención.
• Utilizó un decodificador jerárquico multiescala para la reconstrucción de imágenes.

Principales resultados:

• CAFusion demostró un rendimiento superior a los enfoques de aprendizaje profundo y basados en transformadores de última generación.
• Logró una puntuación SSIM de 0.769 en el conjunto de datos TNO, una mejora del 2.07% con respecto al mejor competidor.
• Mostró una calidad de fusión y una eficiencia computacional mejoradas.

Conclusiones:

• CAFusion fusiona eficazmente imágenes VI e IR con alta calidad y eficiencia.
• El bloque ConvMixer consciente del contexto y la estrategia de fusión propuestos son clave para el éxito del marco.
• CAFusion ofrece una alternativa prometedora para tareas avanzadas de fusión de imágenes.