Multi-TPC: Un conjunto de datos multimodal para conversaciones tripartitas con habla, movimiento y mirada

Área de la Ciencia:

• Ciencias de la computación Ciencias de la computación
• Interacción hombre-computadora Interacción hombre-computadora.
• La lingüística es la lingüística de las lenguas.

Sus antecedentes:

• El análisis de los gestos de conversación, particularmente en las interacciones multipartidarias, es un desafío debido a los limitados conjuntos de datos y métricas de evaluación.
• La investigación existente carece de recursos completos para estudiar las complejidades del habla sincronizada, el movimiento y la mirada en conversaciones grupales.

Objetivo del estudio:

• Introducir Multi-TPC, un nuevo conjunto de datos multimodal diseñado para facilitar el análisis y la generación de gestos conversacionales.
• Proporcionar una base para el avance de la investigación en el análisis del discurso, la dinámica de la comunicación humana y la interacción multimodal.

Principales métodos:

• Recopilación y sincronización de datos multimodales (habla, movimiento, mirada) de conversaciones entre tres personas.
• Desarrolló técnicas de análisis estadístico para identificar correlaciones entre los gestos y otras modalidades de comunicación.
• Creó un conjunto de datos y modelos asociados para apoyar la investigación en el análisis de gestos conversacionales.

Principales resultados:

• Estableció correlaciones entre los gestos conversacionales y el audio, el texto y la identidad del hablante.
• Demostró la utilidad del conjunto de datos Multi-TPC para el estudio de dinámicas de conversación ricas.
• Destacó el potencial del análisis multimodal en la comprensión de la interacción humana.

Conclusiones:

• El conjunto de datos Multi-TPC y los modelos asociados ofrecen una contribución significativa al campo de la investigación de la comunicación multimodal.
• Este recurso permite una investigación más profunda sobre la interacción de los gestos, el habla y la mirada en las conversaciones grupales.
• Facilita los avances futuros en los sistemas de inteligencia artificial que requieren la comprensión y la generación de la interacción humana natural.