对格兰格因果关系连接的多模式洞察:使用卷积神经网络集成生理信号和封闭的眼睛跟踪数据来识别情绪

科学领域:

• 多模式生物信号处理
• 情感计算是一种情感计算.
• 人与计算机的互动.

背景情况:

• 情绪识别系统经常在准确性和可靠性方面扎.
• 整合ECG和EEG等生理信号为改善情绪检测提供了潜力.
• 眼睛跟踪数据可以为完善生物信号分析提供有价值的上下文信息.

研究的目的:

• 开发一种新的方法,通过合并心电图和脑电图数据来提高情绪识别的准确性.
• 整合一个眼睛跟踪封闭策略来过不相关的情感数据.
• 研究情绪状态期间大脑和心脏活动之间的动态相互作用.

主要方法:

• 从眼睛跟踪数据中利用瞳孔直径来过不相关的情绪信号.
• 估计使用格兰杰因果关系 (GC) 捕捉大脑-心脏动态的有效连接.
• 使用预先训练的ResNet-18卷积神经网络 (CNN) 使用GC-EEG-ECG图像.
• 在MAHNOB-HCI数据库上使用5倍交叉验证验证方法.

主要成果:

• 在情感识别方面获得了91.00%的平均准确度.
• 得到的曲线下的面积 (AUC) 为0.97.
• 与最先进的方法相比,证明了显著的性能提升.

结论:

• 将心电图和脑电图数据与眼睛跟踪策略相结合,可以大大改善情绪识别.
• 格兰杰提出的基于因果关系的方法有效地捕捉了动态的大脑与心脏的相互作用,以检测情绪.
• 这种多模式方法为情感计算提供了更准确,更可靠的方法.