Desarrollo de un humano digital interactivo con expresiones faciales sensibles al contexto

Área de la Ciencia:

• Visión por computadora
• Interacción hombre-computadora
• Inteligencia artificial

Sus antecedentes:

• Los sistemas humanos digitales convencionales luchan con emociones complejas y capacidad de respuesta en tiempo real.
• Las limitaciones incluyen la co-ocurrencia de múltiples emociones, la expresión dinámica y la precisión semántica.

Objetivo del estudio:

• Proponer un marco de sistema humano digital que integre el reconocimiento multimodal de emociones y la generación de expresiones faciales compuestas.
• Establecer una tubería en tiempo real para la expresión emocional compuesta a través de "análisis semántico del habla, reconocimiento multimodal de emociones, control de la expresión facial 3D a nivel de unidad de acción (AU) ".

Principales métodos:

• Utilizado ResNet18 para la clasificación de emociones en el conjunto de datos de AffectNet.
• Desarrolló un módulo de conducción de la curva de movimiento de la Unidad de Acción (AU) en Unreal Engine con una máquina de estado para la síntesis dinámica de emociones.
• Transformador generativo pre-entrenado (GPT) para el análisis semántico y la generación de respuestas faciales basadas en el lenguaje.

Principales resultados:

• Demostró mejoras significativas en la calidad de la animación facial.
• Aumento de la naturalidad de 3,54 a 3,94 y de la congruencia semántica de 3,44 a 3,80.
• Validación de la capacidad del sistema para la generación de expresión realista y emocionalmente coherente.

Conclusiones:

• El sistema propuesto ofrece un marco técnico completo para humanos digitales de alta fidelidad con interacción afectiva.
• Proporciona una base práctica para el desarrollo humano digital avanzado.
• Aborda con éxito las limitaciones de los actuales sistemas digitales de expresión facial humana.