Generación de Movimientos de Interacción Humano-Humano Conscientes de la Distancia a partir de Guías de Texto

Área de la Ciencia:

• Visión por Computadora
• Inteligencia Artificial
• Animación

Sus antecedentes:

• La síntesis de movimiento humano 3D impulsada por texto está avanzando, pero la generación de interacciones realistas de varias personas sigue siendo difícil.
• Los métodos actuales a menudo descuidan restricciones físicas cruciales como las distancias espaciales explícitas entre partes del cuerpo en interacción.

Objetivo del estudio:

• Desarrollar un sistema novedoso para generar animaciones 3D realistas de varias personas controladas por texto.
• Abordar las limitaciones de los modelos existentes para capturar la dinámica espacial inter-personal plausible.

Principales métodos:

• Propone InterDist, un modelo Transformer generativo enmascarado que opera en un espacio de estados discreto.
• Descompone el movimiento de dos personas en movimientos independientes de una persona y una secuencia de distancia de interacción separada.
• Utiliza un VQ-VAE para la codificación y un Transformer generativo enmascarado bidireccional para la modelización, condicionado a texto, con un módulo de interacción intermodal.

Principales resultados:

• El modelo InterDist genera con éxito movimientos que están semánticamente alineados con las indicaciones de texto.
• Asegura la preservación de distancias espaciales interpersonales plausibles durante la animación.
• Establece un nuevo punto de referencia para la generación de interacciones de varias personas impulsadas por texto.

Conclusiones:

• InterDist ofrece un avance significativo en la generación de movimiento de varias personas impulsada por texto al modelar explícitamente las interacciones espaciales.
• El enfoque mejora tanto la precisión semántica como la plausibilidad física de las animaciones generadas.
• Este método allana el camino para interacciones de personajes más realistas en entornos virtuales.