EvTexture++: Mejora de Texturas Basada en Eventos para Superresolución de Vídeo

Área de la Ciencia:

• Visión por Computadora
• Procesamiento de Imágenes
• Aprendizaje Profundo

Sus antecedentes:

• Las cámaras basadas en eventos ofrecen alta resolución temporal y rango dinámico.
• Los métodos existentes de superresolución de vídeo (VSR) utilizan eventos para la estimación del movimiento.
• Existe una brecha en el aprovechamiento de datos de eventos para la mejora de texturas en VSR.

Objetivo del estudio:

• Proponer EvTexture++, el primer marco basado en eventos para la mejora de texturas en VSR.
• Mejorar la recuperación de texturas y la consistencia temporal en VSR utilizando datos de eventos.
• Ofrecer un módulo plug-and-play para mejorar los modelos VSR existentes.

Principales métodos:

• EvTexture++ utiliza detalles espacio-temporales de alta frecuencia de los eventos para la recuperación de texturas.
• Un módulo iterativo de mejora de texturas refina progresivamente las texturas utilizando información de eventos.
• Un módulo de alineación de texturas temporales utiliza el flujo guiado por eventos para garantizar la consistencia inter-fotogramas.

Principales resultados:

• EvTexture++ logra un rendimiento de última generación en múltiples conjuntos de datos.
• La integración con modelos VSR existentes produce mejoras significativas, hasta 1,55 dB PSNR.
• El marco mejora eficazmente los detalles de las texturas y reduce el parpadeo en las salidas VSR.

Conclusiones:

• EvTexture++ demuestra la eficacia de los datos de eventos para la mejora de texturas en VSR.
• El marco propuesto mejora tanto la recuperación de texturas intra-fotograma como la consistencia temporal inter-fotogramas.
• EvTexture++ ofrece una solución versátil para avanzar en la tecnología VSR.