时间意识混合基于注意力的卷积和变压器网络,用于跨主体EEG情绪识别
Xiaopeng Si1, Dong Huang1, Zhen Liang2
1Academy of Medical Engineering and Translational Medicine, State Key Laboratory of Advanced Medical Materials and Devices, Haihe Laboratory of Brain-computer Interaction and Human-machine Integration, Tianjin Key Laboratory of Brain Science and Neural Engineering, Institute of Applied Psychology, Tianjin University, Tianjin 300072, China.
本研究介绍了基于混合注意力的卷积和变压器网络 (MACTN),用于使用电脑图 (EEG) 进行高级情绪识别. 通过捕捉本地和全球时间情绪动态,MACTN显著提高了准确性.
科学领域:
- 神经科学是一个神经科学.
- 计算机科学 计算机科学
- 人工智能的人工智能
背景情况:
- 情感识别对于人与计算机的互动至关重要.
- 电脑电图 (EEG) 是捕捉人类情绪状态的关键技术.
- 现有的模型往往难以捕捉情感数据中的复杂时间动态.
研究的目的:
- 开发一种新的等级混合模型,MACTN,用于增强基于EEG的情绪识别.
- 为了有效地捕获来自EEG信号的本地和全球时间信息.
- 为了提高情绪识别系统的准确性和稳定性.
主要方法:
- 提出了一个基于混合注意力的卷积和变压器网络 (MACTN) 模型.
- 利用深度的时间和可分离的卷积来进行局部特征提取.
- 采用自我注意力变压器来实现全局功能集成,并为道相关性提供道注意力.
主要成果:
- 在线评价中,MACTN在THU-EP数据集上的9类情感识别准确度提高了8%.
- 在使用原始EEG信号的离线评估中,DEAP和SEED数据集的性能与最先进的方法相提并论.
- 废除研究证实了整合自我注意力和道注意力机制的好处.
结论:
- MACTN模型为基于EEG的精确和高效的情绪识别提供了一种强大的方法.
- 该模型能够捕捉各种时间特征的能力提高了其在人机交互中的适用性.
- 在情感BCI竞赛中,MACTN取得了最佳表现,证明了其实际有效性.
更多相关视频
08:45Mapping Cortical Dynamics Using Simultaneous MEG/EEG and Anatomically-constrained Minimum-norm Estimates: an Auditory Attention Example
Published on: October 24, 2012
05:51Exploring the Use of Isolated Expressions and Film Clips to Evaluate Emotion Recognition by People with Traumatic Brain Injury
Published on: May 15, 2016