HGLER: una red de gráficos heterogéneos jerárquicos para mejorar el reconocimiento multimodal de emociones en...

Área de la Ciencia:

• Inteligencia artificial
• Procesamiento del lenguaje natural
• Aprendizaje automático

Sus antecedentes:

• Los modelos de reconocimiento de emociones existentes luchan con el contexto de larga distancia y la integración multimodal de datos.
• Los métodos tradicionales a menudo mezclan información en lugar de aprovechar eficazmente los diversos tipos de datos.

Objetivo del estudio:

• Introducir el modelo de aprendizaje de gráficos jerárquicos para el reconocimiento de emociones (HGLER) para mejorar el reconocimiento de emociones en las conversaciones.
• Abordar las limitaciones en la captura de dependencias de largo alcance e interacciones multimodales en la IA conversacional.

Principales métodos:

• HGLER utiliza una nueva estructura de gráficos duales para representar las relaciones conversacionales y las interacciones de datos multimodales.
• El modelo procesa las conversaciones ilustrando las relaciones entre partes y mejorando el aprendizaje intermodal.
• Se realizaron experimentos con los conjuntos de datos IEMOCAP y MELD, empleando técnicas estándar de preprocesamiento y división de datos.

Principales resultados:

• HGLER logró un alto rendimiento en los conjuntos de datos de referencia, con una puntuación F1 del 96,36% y una precisión del 96,28% en IEMOCAP.
• En el conjunto de datos MELD, HGLER obtuvo una puntuación F1 del 96,82% y una precisión del 93,68%, superando a los métodos más avanzados.
• El modelo demostró una fuerte convergencia, generalización y estabilidad durante la formación.

Conclusiones:

• El aprendizaje basado en gráficos jerárquicos mejora significativamente la comprensión emocional en sistemas conversacionales multimodales.
• El modelo HGLER es prometedor para avanzar en las capacidades de la IA conversacional en la comprensión de las emociones humanas.
• Las observaciones de pérdida de validación sugieren mejoras adicionales en la estabilidad y la generalización del modelo.