Mejora espacial-temporal adaptativa a la instancia para una compresión de video eficiente

Área de la Ciencia:

• Visión por computadora
• Compresión de vídeo
• Aprendizaje automático

Sus antecedentes:

• Los altos costos de velocidad de bits desafían la compresión de video HD / UHD eficiente.
• Los métodos adaptativos de instancia existentes se centran en la súper resolución espacial (SR), descuidando la redundancia temporal.
• Los métodos actuales sufren de gastos generales excesivos debido a la gestión limitada de los parámetros.

Objetivo del estudio:

• Introducir IASTE, el método de mejora adaptativa de primera instancia que utiliza la mejora espacial y temporal (STE).
• Incorporar la adaptación de rango bajo (LoRA) para un reajuste eficiente del modelo en la compresión de video.
• Abordar la subutilización de la redundancia temporal en las técnicas de mejora de vídeo existentes.

Principales métodos:

• Reduzca los vídeos espacial y temporalmente para reducir el volumen de datos para una compresión eficiente.
• Superponga un modelo STE específico para cada video utilizando LoRA para la mejora.
• Utilice un modelo ligero de transformador de video para la captura de correlación espacio-temporal.

Principales resultados:

• Lograr ganancias de BD-Rate de aproximadamente el 30% en conjuntos de datos CTC y UVG en comparación con la compresión directa.
• Demostrar unas ganancias del 15% en el conjunto de datos de YoutubeUGC.
• Mostrar ganancias de alrededor del 10% en videos ultra largos en el conjunto de datos Xiph.

Conclusiones:

• IASTE mejora efectivamente la resolución espacial para una compresión de video eficiente.
• LoRA mitiga la sobrecarga de velocidad de bits para el almacenamiento del modelo actualizando solo las matrices de rango bajo.
• El método STE propuesto supera significativamente a los enfoques existentes en eficiencia de compresión de video.