End-to-end snapshot metalens spectral imaging based on deep unfolding half-shuffle transformer network

Área de la Ciencia:

• Óptica y Fotónica
• Imagen Computacional
• Inteligencia Artificial

Sus antecedentes:

• Los sistemas de imagen espectral tradicionales a menudo utilizan redes neuronales convolucionales (CNN) basadas en datos, descuidando los principios físicos de imagen y las dependencias a largo plazo.
• Esta limitación dificulta la reconstrucción espectral precisa en sistemas compactos.

Objetivo del estudio:

• Desarrollar un sistema de imagen espectral de metalente instantánea de extremo a extremo.
• Superar las limitaciones de los métodos tradicionales basados en CNN integrando principios físicos y mejorando la extracción de características.

Principales métodos:

• Se propuso una red Transformer de plegado profundo impulsada por la física y de medio entrecruzamiento.
• Se desplegaron algoritmos de optimización iterativa en una estructura de red en cascada, incorporando principios físicos.
• Se utilizó un mecanismo de autoatención de múltiples cabezales para la extracción de información local y global.

Principales resultados:

• Se logró la reconstrucción de imágenes espectrales de alta fidelidad en 25 canales (430-670 nm) a una resolución de 512x512.
• Se obtuvo una relación señal-ruido pico (PSNR) promedio de 42,87 dB.
• Se demostró una calidad de reconstrucción y preservación de detalles espaciales superiores en comparación con los métodos del estado del arte.

Conclusiones:

• La red Transformer de plegado profundo impulsada por la física propuesta permite la reconstrucción espectral físicamente consistente.
• Este marco mejora la generalización y la calidad de la reconstrucción, allanando el camino para las metalentes de imagen espectral miniaturizadas.