DER-GCN:对话和事件关系意识图表卷积神经网络用于多模式对话情感识别

科学领域:

• 人工智能的人工智能
• 机器学习 机器学习
• 自然语言处理自然语言处理.

背景情况:

• 多模式对话情感识别 (MDER) 对于理解人类互动至关重要.
• 现有的MDER方法往往忽略了事件关系对情绪表达的影响.
• 深度学习 (DL) 的进步为改善MDER提供了机会.

研究的目的:

• 为MDER提出一种新的深度学习模型,该模型包含对话和事件关系.
• 通过考虑扬声器间和事件间的依赖性,增强多式联络特征的融合.
• 改进少数族裔情感类在对话中的表达学习.

主要方法:

• 开发了一个对话和事件关系意识的图形卷积神经网络 (DER-GCN).
• 构建了一个加权的多重关系图表来建模演讲者和事件依赖.
• 引入了一种自我监督的掩盖图形自编码器 (SMGAE),用于功能融合.
• 设计了一个多重信息变压器 (MIT) 来捕获交叉关系的相关性.
• 实施了基于学习的对比性损失策略,以改善少数群体的阶级.

主要成果:

• DER-GCN模型显示了对基准数据集 (IEMOCAP,MELD) 的显著改进.
• 与现有方法相比,实现了更高的平均准确性和整体情绪识别性能.
• 有效地捕捉了潜在事件关系,并改进了多式联运特征融合.

结论:

• 拟议的DER-GCN模型在多式联络对话情绪识别方面推进了最先进的技术.
• 整合对话和事件关系对于准确的情感理解至关重要.
• 该模型的架构有效地处理复杂的多式联运依赖关系,并提高了稳定性.