MIIGAN: Mambas hace una GAN fuerte para la generación de imágenes infrarrojas

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Tecnología de imágenes infrarrojas

Sus antecedentes:

• La recolección de imágenes infrarrojas en el sitio es costosa y difícil de replicar debido a las variaciones ambientales.
• Estos desafíos obstaculizan la investigación y el desarrollo en tecnología de imágenes infrarrojas.

Objetivo del estudio:

• Proponer un nuevo modelo de generación de imágenes visibles-infrarrojas, MIIGAN, para abordar las limitaciones de la recopilación de datos in situ.
• Lograr un rendimiento de vanguardia en la generación de imágenes de infrarrojos realistas a partir de imágenes de luz visible.

Principales métodos:

• MIIGAN utiliza una arquitectura de red adversaria generativa (GAN) basada en U-Net, que incorpora bloques Mamba para mejorar la calidad de la generación.
• Un módulo de atención espacial y de canal (SCAM) está integrado en las conexiones de salto de U-Net para una mejor extracción de características.
• Un codificador dual, que combina Transformer y Mamba, con un módulo de aprendizaje de diferencias y productos (DPM), mejora el rendimiento del discriminador y la extracción de características.
• Las pérdidas de diferencial y consistencia de características de múltiples capas se incorporan a la función objetiva del discriminador para una retroalimentación completa.

Principales resultados:

• MIIGAN logra un rendimiento de vanguardia en la generación de imágenes de visible a infrarrojo.
• Los extensos estudios comparativos y de ablación en cuatro conjuntos de datos validan la eficacia del modelo.
• Las imágenes infrarrojas generadas demuestran utilidad en tareas de detección de objetos posteriores.

Conclusiones:

• MIIGAN ofrece una solución viable y eficaz para generar imágenes infrarrojas de alta calidad, superando las limitaciones de los métodos tradicionales de recopilación de datos.
• El rendimiento del modelo sugiere un potencial significativo para el avance de la investigación y las aplicaciones en tecnología infrarroja.