由视频刺激的时间特征监督的EEG情绪识别

科学领域:

• 神经科学是一个神经科学.
• 计算机科学 计算机科学
• 人工智能的人工智能

背景情况:

• 电脑电图 (EEG) 信号捕捉大脑活动,用于情绪识别.
• 由于信号非静止性和低信号与噪声比,对EEG进行准确的独立于对象的情绪识别具有挑战性.
• 整合外部数据可能会改善基于EEG的情绪识别.

研究的目的:

• 通过监督EEG功能与外部视频功能来开发情绪识别的端到端框架.
• 为了利用视频刺激和EEG信号的互补性来增强情感表现.
• 为了应对主体独立情绪识别的挑战.

主要方法:

• 提出了一个结合EEG和视频特征提取器的端到端框架.
• 一个交叉模式的变压器被用来调整EEG和视频特征分布.
• 一个自我注意力机制被用于功能融合.
• 在DEAP和自收集数据集上进行了实验.

主要成果:

• 监督EEG特征与刺激信息显著增强了情绪识别性能.
• 拟议的框架证明了可靠的独立于主体的情感识别.
• 视频唤起特征的整合在改善对情绪的EEG信号分析方面被证明是有效的.

结论:

• 通过外部刺激信息来增强EEG特征是独立于主体的情绪识别的可行策略.
• 拟议的交叉模式框架有效地融合了EEG和视频数据,以实现强大的情感识别.
• 这种方法为推进情感计算和脑计算机接口提供了一个有希望的方向.