一个创新的3D注意力机制用于多标签的情绪分类

科学领域:

• 自然语言处理自然语言处理.
• 机器学习 机器学习
• 人工智能的人工智能

背景情况:

• 当前的多标签情绪分类通常依赖于预先训练的模型和注意力机制.
• 现有的研究主要集中在改变注意力网络结构或使用更大的模型上,忽视了提高注意力的学习能力.
• 拥有28个情感类别的GoEmotions数据集,对情感分类提出了复杂的挑战.

研究的目的:

• 介绍一个新的注意力机制,指挥官注意力,旨在改善多标签情绪分类.
• 通过结合情绪极性和强度来增强注意力机制的学习能力.
• 为了评估指挥官注意力在复杂,多标签情绪数据集上的有效性.

主要方法:

• 为每个情感标签开发出不同的注意层,形成一个3D立方体结构.
• 嵌入了情绪极性和强度作为"指挥官"功能来调整注意力权重.
• 采用多头注意力来连接注意力平面,并利用多任务学习进行独立的情绪预测.
• 集成指挥官注意力与XLNet预训练模型进行微调.

主要成果:

• 司令注意 (3-CA) 在分类所有情感类别方面显著优于原始方法.
• 与最先进的方法相比,提出的方法在超过85.7%的情感类别中取得了最小的改善.
• 新的3D注意力空间和指示特征有效指导注意力学习.

结论:

• 司令注意力通过增强注意力机制,在多标签情绪分类方面取得了重大进展.
• 结合情绪极性和强度,以及3D注意空间,可以在复杂的情绪数据集上实现卓越的性能.
• 这种方法为未来的情感识别和情感分析研究提供了有希望的方向.