Diagnóstico y Mejora de la Restauración de Imágenes Ciegas Basada en Cuantificación Vectorial

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Procesamiento de Imágenes

Sus antecedentes:

• La cuantificación vectorial (VQ) se usa comúnmente en modelos generativos para obtener información previa de alta calidad (HQ) en la restauración de imágenes ciegas (BIR).
• Los procesos discretos de VQ en métodos BIR tienen limitaciones, que incluyen una capacidad limitada del libro de códigos, predicción de índices propensa a errores en imágenes de baja calidad (LQ) y una subutilización de las características de las imágenes LQ.
• Estas limitaciones dificultan el rendimiento óptimo en tareas de restauración de imágenes.

Objetivo del estudio:

• Abordar las limitaciones de la VQ discreta en los métodos BIR basados en VQ.
• Proponer un enfoque novedoso que utiliza la representación continua de características y un módulo Self-in-Cross-Attention (SinCA) para mejorar la restauración de imágenes.
• Mejorar la fidelidad de la restauración aprovechando mejor la información de la imagen de baja calidad (LQ).

Principales métodos:

• Reemplazó el proceso discreto de Vector-Quantization (VQ) con representación continua de características.
• Introdujo un módulo Self-in-Cross-Attention (SinCA) para aumentar el libro de códigos HQ con las características de la imagen LQ de entrada.
• Implementó atención cruzada entre las características LQ y el libro de códigos aumentado de entrada dentro de una arquitectura de transformador.

Principales resultados:

• Los métodos BIR basados en VQ mejorados con el módulo SinCA propuesto y la representación continua mostraron un rendimiento cuantitativo y cualitativo mejorado.
• El método demostró resultados superiores en tareas de superresolución de imágenes ciegas y restauración de rostros ciegos.
• Los experimentos confirmaron la efectividad de SinCA para aprovechar las características de las imágenes LQ para una mejor fidelidad de restauración.

Conclusiones:

• La representación continua de características y el módulo SinCA ofrecen una mejora significativa sobre la VQ discreta tradicional en BIR.
• El módulo SinCA propuesto mejora eficazmente la representación del libro de códigos al incorporar características de imágenes LQ, lo que conduce a resultados de restauración superiores.
• Los hallazgos sugieren una nueva dirección prometedora para el desarrollo de técnicas avanzadas de restauración de imágenes ciegas.