多模态情绪识别与残留门网和情绪强度注意力
Yadi Wang1, Xiaoding Guo1, Xianhong Hou2
1School of Computer and Information Engineering, Henan University, Kaifeng, 475004, China; Henan Key Laboratory of Big Data Analysis and Processing, Kaifeng, 475004, China.
概括
这项研究介绍了MSRG,一种新的多式联络情绪识别框架. MSRG有效地处理互补信息并选择关键特征,显著提高基准数据集上的情绪预测准确度.
科学领域:
- 人工智能的人工智能
- 计算机科学 计算机科学
- 情感计算是一种情感计算.
背景情况:
- 多模式情绪识别利用文本,视觉和声学数据.
- 现有的方法在整合补充的模式信息和管理长期依赖方面扎.
- 有效地选择共同的模式特征仍然是一个挑战.
研究的目的:
- 提出一个新的多式联络情绪识别框架,MSRG.
- 解决处理补充信息和选择共同的模式特征的局限性.
- 通过融合多式联络数据,提高情绪预测的准确性.
主要方法:
- MSRG框架包括特征提取 (FE),情感强度注意 (EIA),时间步骤级融合 (TLF),发言级融合 (ULF) 和情感推断模块 (SIM).
- EIA 包含自适应式多式联网线性聚合 (AMLP) 和联合交叉注意力融合 (JCAF) 以实现动态特征加权和融合.
- TLF和ULF使用剩余门网 (RGN) 和连接,分别用于时间步骤和发言级别的融合.
主要成果:
- 拟议的MSRG框架证明了CMU-MOSI和CMU-MOSEI数据集的优越预测性能.
- 适应式多式联络融合和联合交叉注意力有效地捕捉了多式联络关系.
- 层次融合策略 (时间步骤和发言级别) 增强了特征表示.
结论:
- 通过改进信息处理和功能选择,MSRG为多式联络情绪识别提供了有效的解决方案.
- 该框架的适应性和交叉注意力机制是其增强性能的关键.
- 在已建立的多式联络数据集上,MSRG为情感识别准确性设定了新的基准.
