Creación de personajes gemelos digitales interactivos multimodales a partir de videos: un conjunto de datos y una...

Área de la Ciencia:

• Inteligencia artificial
• Visión por computadora
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los caracteres gemelos digitales requieren datos multimodales y específicos para una interacción realista.
• Los conjuntos de datos existentes carecen de la escala y el detalle para el modelado complejo de rasgos de carácter.

Objetivo del estudio:

• Desarrollar un nuevo marco para la creación de personajes gemelos digitales interactivos multimodales a partir de vídeos de diálogo.
• Introducir el conjunto de datos de conversación multimodal centrado en los personajes (MCCCD, por sus siglas en inglés) para mejorar la formación digital de los personajes.
• Establecer un marco de referencia para generar respuestas humanas digitales coherentes y específicas para cada personaje.

Principales métodos:

• Recogió el conjunto de datos de conversación multimodal centrado en caracteres (MCCCD) a gran escala con anotaciones detalladas.
• Propuso un marco de referencia que utiliza grandes modelos de lenguaje para el diálogo, síntesis de voz para la voz y modelos de cabeza parlante en 3D para imágenes.
• Los gemelos digitales habilitados para replicar características externas (apariencia, tono) y atributos internos (personalidad, comportamientos).

Principales resultados:

• El MCCCD es aproximadamente diez veces más grande por carácter que los conjuntos de datos existentes.
• El marco propuesto supera significativamente a los métodos existentes para generar respuestas coherentes y específicas para cada personaje.
• Demostró la creación de personajes gemelos digitales capaces de una interacción textual, vocal y visual armoniosa.

Conclusiones:

• El marco desarrollado y el conjunto de datos MCCCD establecen un nuevo punto de referencia para la creación de caracteres digitales.
• Abrió el camino para avatares digitales altamente interactivos y naturales con aplicaciones prácticas.
• Publicó el conjunto de datos y el código para fomentar una mayor investigación en tecnología humana digital.