GMSR: Mamba integrado con gradiente para la reconstrucción espectral de imágenes RGB

Área de la Ciencia:

• Visión por computadora
• Procesamiento de imágenes
• Aprendizaje profundo

Sus antecedentes:

• Las Redes Neurales Convolucionales (CNN) luchan con las dependencias de largo alcance en la reconstrucción espectral.
• Los modelos de transformador enfrentan limitaciones de eficiencia computacional para la reconstrucción espectral.
• El desarrollo de redes eficientes para la reconstrucción de imágenes hiperespectrales de alta calidad (HSI) sigue siendo un desafío.

Objetivo del estudio:

• Introducir una red de reconstrucción espectral novedosa y eficiente para imágenes hiperespectral (HSI) a partir de datos RGB.
• Aprovechar las fortalezas de los modelos de espacio de estado, específicamente Mamba, para mejorar la reconstrucción espectral.
• Para hacer frente a la precisión-eficiencia de la compensación en la reconstrucción de imágenes hiperespectrales.

Principales métodos:

• Desarrolló el Mamba integrado en gradiente para la reconstrucción espectral (GMSR-Net), una red ligera.
• Utilizó bloques de Gradient Mamba (GM) apilados con una estructura de tres ramas para la representación de características globales.
• Incorporación de mecanismos de atención de gradiente espacial y de atención de gradiente espectral para mejorar la reconstrucción de señales espaciales y espectral.

Principales resultados:

• GMSR-Net logra un rendimiento de vanguardia en la precisión de la reconstrucción espectral.
• El modelo demuestra reducciones significativas en los parámetros (8x) y los FLOP (20x) en comparación con los métodos existentes.
• Logró una compensación de precisión y eficiencia superior para la reconstrucción de imágenes hiperespectrales.

Conclusiones:

• GMSR-Net ofrece una solución altamente eficiente y precisa para la reconstrucción espectral a partir de imágenes RGB.
• Los mecanismos de atención de gradiente propuestos guían efectivamente la reconstrucción de la información espacial y espectral.
• La arquitectura Gradient Mamba presenta una dirección prometedora para la futura investigación de la reconstrucción espectral.