跨模态导向神经网络用于从EEG和眼动信号的多模态情绪识别

科学领域:

• 神经科学是一个神经科学.
• 计算机科学 计算机科学
• 人工智能的人工智能

背景情况:

• 多模态情绪识别集成了各种感官数据,以提高性能.
• 电脑电图 (EEG) 提供客观的情绪洞察力,但收集起来很复杂.
• 眼动信号很容易被收集,但对个体差异敏感.

研究的目的:

• 开发一种跨模态引导神经网络,以增强情绪识别.
• 为了利用EEG和眼动信号的互补强度.
• 解决传统单模或单模方法的局限性.

主要方法:

• 双分支特征提取模块同时处理EEG和眼动数据.
• 一个特征指导模块利用EEG特征来完善眼动特征提取.
• 一个功能重权模块增强了与情绪相关的眼动模式的识别.

主要成果:

• 拟议的模型在SEED-IV数据集上表现出了值得称赞的表现.
• 来自收集的数据集的实证发现也验证了该模型的有效性.
• 交叉模式的方法显著提高了情绪分类的准确性.

结论:

• 交叉模式引导神经网络有效地整合了EEG和眼睛运动信号,以获得更好的情感识别.
• 功能引导和重权重模块成功地减轻了主观影响,并增强了相关的功能提取.
• 这项研究为强大而准确的影响检测系统提供了有希望的方向.