Descomposición progresiva de la red de fusión de imágenes infrarrojas y visibles con transformador conjunto y Resnet

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Procesamiento de imágenes

Sus antecedentes:

• La fusión de imágenes tiene como objetivo crear una sola imagen rica en información de múltiples fuentes.
• Los métodos actuales de aprendizaje profundo luchan por equilibrar las características básicas y detalladas durante la fusión.
• Las redes existentes a menudo descuidan las características distintivas de las imágenes de origen.

Objetivo del estudio:

• Desarrollar una red de descomposición progresiva para la fusión de imágenes visibles e infrarrojas (IVIF).
• Mejorar el equilibrio entre las características básicas y detalladas en las imágenes fusionadas.
• Para mejorar la percepción de la máquina y las capacidades de interpretación visual humana.

Principales métodos:

• Una red de descomposición progresiva que integra las arquitecturas Lite Transformer (LT) y ResNet.
• Extracción inicial de rasgos a gran escala utilizando una CNN.
• Módulo LT para bifurcar las características en componentes básicos y detallados.
• Las operaciones de LT en cascada y las subredes especializadas de fusión para el procesamiento entre capas.
• Una nueva función de pérdida de correlación para la alineación de características.

Principales resultados:

• La red propuesta extrae y fusiona efectivamente las características básicas y detalladas.
• Demostró un rendimiento superior en la extracción de detalles en comparación con los métodos de aprendizaje profundo existentes.
• Logró una calidad de imagen fusionada mejorada para tareas visuales avanzadas.

Conclusiones:

• La red de descomposición progresiva ofrece un avance significativo en el IVIF.
• La integración de las arquitecturas LT y ResNet optimiza la extracción y fusión de características.
• El método muestra un gran potencial para mejorar las tareas posteriores relacionadas con la imagen.