使用EEG和眼睛追踪功能的多模态情绪识别

科学领域:

• 情感计算和人与计算机的互动.
• 神经科学和信号处理.

背景情况:

• 多模态情绪识别利用了EEG,ECG,GSR和眼睛跟踪等生理信号.
• SEED V数据集是评估情绪识别模型的基准.

研究的目的:

• 利用EEG和眼睛跟踪数据开发基于卷积神经网络 (CNN) 的多模式情感识别模型.
• 为了研究EEG特征提取不同时间窗口大小对情绪识别性能的影响.
• 为了在SEED V数据集上获得最先进的结果.

主要方法:

• 脑电图信号被转换成2D图像格式以保留空间信息.
• 差异 (DE) 用于在不同的时间窗口 (1s和4s) 中进行EEG特征提取.
• 简单的CNN架构被用于EEG和眼睛跟踪功能的多模式融合.

主要成果:

• 拟议的模型在Leave One Subject Out验证中使用1秒的EEG处理窗口实现了0.935±0.038的平均精度.
• 这一1秒窗口显著优于4秒窗口,证明了更短的处理时间的优势.
• 该模型在SEED V数据集上实现了最先进的性能.

结论:

• 较短的时间窗口 (1秒) 对于在情绪识别任务中有效处理EEG特征至关重要.
• 开发的多模式CNN模型显示了使用EEG和眼睛跟踪进行情绪识别的高效性.
• 这项研究强调了在情感计算中时间特征解析的重要性.