CoFaCo: Codificación de video de rostros parlantes generativos controlables

Área de la Ciencia:

• Visión por Computadora
• Compresión de Video
• Aprendizaje Automático

Sus antecedentes:

• La codificación y el control eficientes de video de rostros parlantes son vitales para la comunicación moderna.
• Los métodos actuales que aplican el control antes de la codificación carecen de una eficiencia de compresión satisfactoria.

Objetivo del estudio:

• Proponer un marco eficiente, Codificación de Video de Rostros Parlantes Generativos Controlables (CoFaCo), que integra el control en el proceso de codificación de video.
• Permitir expresiones faciales y poses de cabeza personalizables por el usuario con una compresión mejorada.

Principales métodos:

• CoFaCo proyecta videos de rostros parlantes en representaciones de características compactas y semánticas.
• Pérdidas sofisticadas desacoplan los códigos de dirección de pose y expresión para un control independiente.
• Los generadores crean poses y expresiones controladas, con suavizado para la consistencia temporal.

Principales resultados:

• CoFaCo demuestra una eficiencia de compresión competitiva a tasas de bits ultrabajas.
• El marco logra tareas efectivas de reconstrucción y control de video.
• Los códigos desacoplados de pose y expresión mejoran la precisión del control y la estabilidad temporal.

Conclusiones:

• CoFaCo ofrece una solución eficiente para la codificación de video de rostros parlantes controlables.
• El enfoque integrado avanza la comunicación de video facial con capacidades de control mejoradas.
• Este marco proporciona información valiosa para futuros desarrollos en comunicación de video personalizada.