基于注意力图的EEG-fNIRS交叉主体情绪识别同型网络和对比学习
Bingzhen Yu1, Xueying Zhang1, Guijun Chen1
1College of Electronic Information Engineering, Taiyuan University of Technology, Taiyuan 030024, China.
Brain sciences
|February 27, 2026
概括
这项研究介绍了DC-AGIN,这是一种新的双对比学习网络,用于使用脑电图 (EEG) 和功能近红外光谱 (fNIRS) 改进情绪识别. 该方法增强了跨学科的概括性,以实现更强大的情感计算.
科学领域:
- 神经科学是一个神经科学.
- 情感计算是一种情感计算.
- 机器学习 机器学习
背景情况:
- 脑电图 (EEG) 和功能近红外光谱 (fNIRS) 捕捉大脑动态,以识别情绪.
- 结合EEG和fNIRS显得有前途,但由于信号异质性和主体间变异性,在多模式融合和跨主体概括方面面临挑战.
研究的目的:
- 为基于EEG-fNIRS的情感识别开发一种强大的方法,克服跨模态融合和跨主体概括的局限性.
- 介绍DC-AGIN,一个双对比学习注意力图形同型网络,旨在提高情绪识别准确性和概括性.
主要方法:
- 拟议的DC-AGIN模型使用注意力加权的图形同态网络 (AGIN) 编码器进行适应性特征强调.
- 实现跨模态对比学习以在共享的语义空间中对齐EEG和fNIRS表示.
- 员工监督对比学习,以减少对象特定的信息,并促进对象不变的情感表现.
主要成果:
- 在主体依赖的四类情绪分类中,获得了96.98%的准确性.
- 在LOSO (Leave-one-subject-out) 协议下,通过62.56%的准确度,证明了显著的跨主题概括性.
- 超越了现有的模型,在EEG-fNIRS情感识别中实现了最先进的 (SOTA) 性能.
结论:
- 注意聚合,交叉模式和交叉主体对比学习显著提高了EEG-fNIRS情绪识别的稳定性.
- DC-AGIN模型有效地学习了可概括的情感表示,证明了它对现实世界情感计算应用的潜力.
