[使用跨模态特征融合和全球感知进行情绪过渡识别的方法]

科学领域:

• 生物医学工程 生物医学工程
• 神经科学是一个神经科学.
• 人工智能的人工智能

背景情况:

• 目前的脑电图 (EEG) 情绪识别方法仅限于受控的实验室环境,未能在现实世界中捕捉动态情绪过渡.
• 识别动态情绪转换对于理解复杂的人际交互和开发先进的人与计算机接口至关重要.

研究的目的:

• 为准确的动态情感过渡识别提出一种新的跨模式特征融合和全球感知网络 (CFGPN).
• 解决目前基于EEG的情绪识别研究中离散刺激范式的局限性.

主要方法:

• 设计了六种情绪过渡场景的实验范式,同时从20名参与者收集动态连续情绪标签的EEG和眼动数据.
• 采用深度规范相关性分析与特征融合的交叉模式注意力机制,创建多式向量.
• 利用并行混合架构,将卷积神经网络 (CNN) 结合为本地特征和变压器用于全球时间依赖.

主要成果:

• 拟议的CFGPN在动态和经典情感数据集上实现了对价值和唤起识别的最低平均平方误差.
• 与五个单模和六个多模深度学习模型相比,证明了更高的识别准确性和稳定性.
• 验证了该方法在现实场景中识别情绪状态过渡的增强适应性和稳定性.

结论:

• 该CFGPN方法在动态情绪过渡识别方面提供了显著的进步,优于现有的方法.
• 这些发现突出了多式联网数据融合和混合深度学习架构的潜力,用于现实世界的情感分析.
• 这项研究为改进的生物医学工程应用铺平了道路,这些应用需要细微的情绪识别.