Puente entre texto y voz para la comprensión de emociones: Un marco explicable de fusión de transformadores...

Área de la Ciencia:

• Inteligencia Artificial
• Ciencia Cognitiva
• Lingüística Computacional

Sus antecedentes:

• Las interacciones conversacionales ofrecen ricos indicios lingüísticos y vocales para el estudio de la emoción.
• Los modelos existentes de reconocimiento de emociones a menudo se centran en modalidades únicas, lo que limita la comprensión de la comunicación afectiva.

Objetivo del estudio:

• Desarrollar un marco explicable de transformadores multimodales para la comprensión avanzada de emociones.
• Integrar la semántica textual y la prosodia acústica para un análisis afectivo integral.

Principales métodos:

• Se utilizó RoBERTa para la semántica textual y WavLM para la prosodia acústica.
• Se proyectaron ambas modalidades en un espacio latente compartido para un análisis complementario.
• Se incorporaron técnicas de IA explicable (XAI) como Gradientes Integrados y Oclusión.

Principales resultados:

• Logró una precisión de 0.83 en cinco categorías de emociones.
• Demostró la capacidad del modelo para capturar las contribuciones complementarias del lenguaje y la voz.
• Atribuyó con éxito las predicciones a tokens lingüísticos específicos y patrones prosódicos.

Conclusiones:

• El sistema multimodal de IA mejora la precisión y la transparencia del reconocimiento de emociones.
• Las técnicas de IA explicable alinean los mecanismos computacionales con la percepción de las emociones humanas.
• Este trabajo apoya el reconocimiento de emociones centrado en el ser humano a través de la IA transparente.