Animación de rostros parlantes a partir de una sola imagen controlada por audio con Transformers | JoVE Visualize

Área de la Ciencia:

Visión por Computadora
Inteligencia Artificial
Interacción Humano-Computadora

Sus antecedentes:

La generación de video de rostros parlantes controlada por audio es vital para humanos virtuales y contenido digital.
Los métodos actuales luchan con movimientos de labios antinaturales y distorsiones faciales, especialmente durante expresiones emocionales.
Estos problemas provienen de la señal de audio que entrelaza el contenido lingüístico, la emoción y los atributos del hablante.

Objetivo del estudio:

Proponer ExpNet, un marco novedoso para la generación realista de video de rostros parlantes controlada por audio.
Abordar las limitaciones en los métodos existentes con respecto al realismo de las expresiones y la sincronización de labios.
Mejorar la calidad de los videos generados, particularmente bajo expresiones exageradas y variaciones emocionales.

Principales métodos:

Se utilizó un marco de regresión de expresiones basado en Transformers (ExpNet) que emplea coeficientes 3DMM.
Se implementó un autoencoder variacional (VAE) condicional para la generación de coeficientes de pose de cabeza.
Se empleó una arquitectura CNN-Transformer con sesgo de posición relativo basado en ALiBi para la regresión de coeficientes de expresión, condicionada al primer cuadro.

Principales resultados:

ExpNet demostró un rendimiento superior a los métodos existentes en realismo de expresiones, sincronización de labios y calidad de video en múltiples conjuntos de datos (HDTF, MEAD, LRS3).
Los estudios de ablación confirmaron la importancia de ALiBi, la supervisión de puntos de referencia y el módulo Transformer para la estabilidad temporal y la reducción del movimiento de labios.
El marco conservó con éxito la identidad y la coherencia emocional a lo largo de los videos generados.

Conclusiones:

ExpNet genera eficazmente videos de rostros parlantes de alta calidad al desacoplar el movimiento de la cabeza y las expresiones faciales.
El método propuesto ofrece mejoras significativas en realismo y sincronización en comparación con enfoques anteriores.
Componentes clave como ALiBi y los módulos Transformer son críticos para una animación facial robusta y coherente.