Una red de mejora de percepción híbrida ligera para la superresolución de imágenes infrarrojas

Área de la Ciencia:

• Visión por Computadora
• Procesamiento de Imágenes
• Inteligencia Artificial

Sus antecedentes:

• La superresolución de imágenes infrarrojas (SR) es un desafío debido a las limitaciones de los modelos actuales de redes neuronales convolucionales (CNN) y Transformers.
• Las CNN tienen dificultades con las dependencias a largo plazo, mientras que los Transformers son computacionalmente intensivos y pierden detalles locales.

Objetivo del estudio:

• Desarrollar una novedosa Red de Mejora de Percepción Híbrida (HPEN) para mejorar la superresolución de imágenes infrarrojas.
• Abordar las limitaciones de los métodos de SR existentes combinando la modelización del contexto global y la extracción de detalles locales.

Principales métodos:

• Propone una Red de Mejora de Percepción Híbrida (HPEN) que presenta un Bloque de Mejora de Percepción Híbrida (HPEB).
• HPEB integra un Bloque de Agregación de Tokens (TAB) para el contexto global, un Bloque de Mejora de Características Multiescala (MFEB) para detalles locales y una capa convolucional para el refinamiento.

Principales resultados:

• HPEN logra un rendimiento líder en tareas de superresolución de imágenes infrarrojas, superando a los métodos existentes.
• Logra la mejor relación señal-ruido (PSNR) y el índice de similitud estructural (SSIM) para la tarea de SR [Fórmula: ver texto] entre los enfoques ligeros.
• Demuestra ventajas significativas de eficiencia, reduciendo los FLOPs en un 42,9% y el uso de memoria de GPU en un 90,6% en comparación con HiT-SR, con una velocidad de inferencia [Fórmula: ver texto] veces más rápida.

Conclusiones:

• La HPEN propuesta modela eficazmente tanto el contexto global como los detalles locales para una SR infrarroja superior.
• HPEN ofrece una solución computacionalmente eficiente y de alto rendimiento para la SR infrarroja.
• La red desarrollada proporciona un avance significativo en los enfoques de SR ligeros para imágenes infrarrojas.