基于情绪识别混合注意力机制的EEG视觉的交叉模式对齐和融合
1College of Communication Engineering, Jilin University, People's Street, Changchun, 100190 China.
Cognitive neurodynamics
|November 11, 2025
概括
这项研究引入了一种新的脑电图 (EEG) 视觉模型,通过融合多模式数据来准确识别情绪. 混合注意力机制显著提高了分类准确性,在玛视觉融合中达到96.49%.
科学领域:
- 神经科学是一个神经科学.
- 计算机科学 计算机科学
- 人工智能的人工智能
背景情况:
- 情绪识别的准确性受到当前多模式算法的限制,这些算法忽视了数据同步.
- 多模态情绪识别算法的错位会影响整体准确性.
研究的目的:
- 提出一种新的脑电图 (EEG) -视觉交叉模式对齐和融合模型 (CMAF) 改进情绪分类.
- 为了解决现有的多模态情绪识别技术中模态错位的问题.
主要方法:
- 利用了来自EEG信号的差异 (DE) 特性和来自视觉模式的颜色特性.
- 采用混合注意力机制,包括多头注意力用于对齐和交叉注意力用于融合.
- 在SEED数据集上进行分类的实施支持矢量机器 (SVM).
主要成果:
- 融合高频EEG和视频功能显著提高了识别准确性.
- 玛视觉融合实现了96.49%的平均精度.
- 该模型在各种环境下在SEED-IV数据集上展示了强大的性能和概括能力.
结论:
- 拟议的CMAF模型有效地克服了模态错位,以提高情绪识别.
- 混合注意力机制对于准确的跨模态特征提取和融合至关重要.
- 该模型显示了强大的稳定性和对现实世界的情感识别应用的概括潜力.


