Hacia la Generación Unificada de Gestos Co-Discurso mediante Aprendizaje Jerárquico de Periodicidad Implícita

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Interacción Humano-Computadora

Sus antecedentes:

• La generación de movimientos corporales 3D realistas a partir del habla es crucial para aplicaciones como la realidad virtual y la animación.
• Los métodos actuales a menudo luchan con la naturalidad y la coordinación debido a limitaciones en el modelado de inter- y intra-correlaciones entre diferentes partes del cuerpo (cabeza, cuerpo, manos).

Objetivo del estudio:

• Proponer un nuevo enfoque de aprendizaje de Periodicidad Implícita Jerárquica (HIP) para la generación de gestos 3D inspirada en audio.
• Abordar la naturaleza mal planteada de la generación de gestos co-discurso mediante el modelado explícito de correlaciones intrínsecas.

Principales métodos:

• Utilización de autoencoders periódicos para explorar las variedades de fase del movimiento gestual, capturando características de movimiento humano tanto periódicas como no periódicas.
• Implementación de guía en cascada para modelar las relaciones jerárquicas entre expresiones faciales, gestos corporales y movimientos de manos.

Principales resultados:

• El enfoque HIP propuesto demuestra un rendimiento superior en comparación con los métodos de vanguardia en evaluaciones cuantitativas y cualitativas.
• Los gestos 3D generados exhiben una mayor naturalidad y coordinación en avatares 3D.

Conclusiones:

• El enfoque de aprendizaje HIP modela eficazmente las relaciones implícitas multimodales para la generación realista de gestos co-discurso.
• Este método ofrece un avance significativo en la creación de movimientos humanos 3D naturales y coordinados sincronizados con el habla.