MLP-MFF: MLP de fusión piramidal ligera para la fusión de imágenes multifoco de extremo a extremo ultraeficiente

Área de la Ciencia:

• Visión por computadora
• Procesamiento de imágenes
• Aprendizaje profundo

Sus antecedentes:

• La profundidad de campo limitada en las imágenes ópticas conduce a imágenes parcialmente enfocadas.
• La fusión de imágenes multifoco (MFF) sintetiza imágenes todo en foco desde múltiples planos focales.
• Los métodos de aprendizaje profundo existentes en el marco financiero plurianual tienen dificultades con las dependencias de largo alcance o los elevados costes computacionales.

Objetivo del estudio:

• Proponer una red novedosa, ligera y completa del MFP.
• Superar las limitaciones de las CNN, las Transformers y las Mambas en el MFP.
• Mejorar el rendimiento de la fusión y lograr un verdadero campo receptivo global.

Principales métodos:

• Desarrollado MLP-MFF basado en la arquitectura de percepción de múltiples capas de fusión piramidal (PFMLP).
• Se introdujo un módulo de fusión de características multiescala adaptativo de doble vía basado en la atención híbrida (DAMFFM-HA).
• Diseñado para manejar escalas de entrada flexibles y aprender representaciones de características de múltiples escalas.

Principales resultados:

• El MFP alcanza una calidad de fusión competitiva y a menudo superior en comparación con los métodos más avanzados.
• Captura demostrada de las dependencias de largo alcance y las características de escala múltiple.
• Mantuvo una arquitectura ligera y eficiente.

Conclusiones:

• El MFP ofrece una solución eficaz para la fusión de imágenes multifóco.
• La arquitectura y el módulo de fusión propuestos mejoran significativamente el rendimiento del MFP.
• Este método proporciona un enfoque ligero pero potente para sintetizar imágenes totalmente enfocadas.