Un modelo de degradación de acoplamiento de red guiado por VLM para la degradación consciente de la fusión de...

Área de la Ciencia:

• Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador
• La inteligencia artificial es inteligencia artificial.
• Procesamiento de imágenes Procesamiento de imágenes.

Sus antecedentes:

• Los métodos existentes de fusión de imágenes infrarrojas y visibles (IVIF) a menudo fallan con entradas degradadas, lo que requiere ajustes manuales de preprocesamiento.
• La separación del manejo de la degradación y los procesos de fusión en las técnicas IVIF actuales conduce a una pérdida sustancial de rendimiento.

Objetivo del estudio:

• Proponer una nueva red, VGDCFusion, que integre el modelado de degradación directamente en el proceso de fusión de imágenes.
• Aprovechar los modelos de lenguaje de visión (VLM) para mejorar la conciencia de degradación y la supresión de características guiadas en IVIF.

Principales métodos:

• Desarrolló el extractor acoplado a la degradación por impulso específico (SPDCE) para la conciencia de degradación específica de la modalidad y la extracción / supresión de características conjuntas.
• Se introdujo la fusión conjunta acoplada a la degradación por impulso (JPDCF) para la percepción de degradación intermodal y la fusión integrada con filtrado de degradación.
• Utilizó VLM para guiar el proceso de fusión, permitiendo la percepción y supresión de la degradación consciente.

Principales resultados:

• VGDCFusion demostró una superioridad significativa en la fusión de imágenes infrarrojas y visibles degradadas.
• Logró mejoras sustanciales en la calidad visual cualitativa y las métricas cuantitativas (por ejemplo, ~15% en AG, ~14.75% en SF) en comparación con los métodos de última generación.
• El método propuesto maneja efectivamente la degradación de la imagen al acoplarla con la tarea de fusión.

Conclusiones:

• La red VGDCFusion propuesta ofrece una solución robusta para la fusión de imágenes degradadas mediante el acoplamiento estrecho del modelado de degradación y la fusión.
• Aprovechar los VLMs mejora la capacidad de la red para percibir y suprimir las degradaciones, lo que lleva a un rendimiento de fusión superior.
• El método representa un avance significativo en IVIF, particularmente para escenarios de entrada desafiantes y degradados.