基于EEG和EOG信号的多式情绪识别,由视频-臭色刺激引起的信号

科学领域:

• 神经科学是一个神经科学.
• 情感计算是一种情感计算.
• 人与计算机的交互

背景情况:

• 情感识别依赖于情感数据,通常通过外部刺激收集.
• 研究多感官集成对于理解和增强情绪反应至关重要.

研究的目的:

• 探索多感官刺激 (视觉,听觉,嗅觉) 对情绪唤起和识别的影响.
• 为情感识别研究创建和验证多式联络情感数据集 (OVPD-II).
• 为了比较视频气味与仅视频刺激在唤起情绪方面的有效性.

主要方法:

• 使用仅视频和视频气味刺激,记录电脑图 (EEG) 和电眼图 (EOG) 信号的OVPD-II数据集的开发.
• 在收集的EEG和EOG数据上使用变压器模型进行情绪识别任务.
• 实施混合融合 (HF) 方法与变压器和联合培训以提高性能.

主要成果:

• 与仅视频模式相比,视频气味刺激模式在唤起情绪方面更有效.
• 变压器模型在情感识别方面取得了高精度:EEG 86.65%,EOG 66.12%,视频气味刺激.
• 混合融合方法进一步提高了分类精度,视频气味的分类精度为89.50%,仅视频图案的分类精度为88.47%.

结论:

• 多感官刺激,特别是嗅觉与视觉输入的整合,显著增强了情绪诱导.
• 像变压器这样的先进深度学习模型与混合融合技术相结合,显示出对准确的情绪识别有很大的前景.
• OVPD-II数据集为未来对情感计算和多感官情感识别的研究提供了宝贵的资源.