一个基于变压器的多模式融合网络用于使用EEG和面部表情识别听力受损对象的情绪识别
Shuni Feng1, Qingzhou Wu2, Kailin Zhang1
1Tianjin Key Laboratory of Life and Health Detection, Life and Health Intelligent Research Institute, Tianjin University of Technology, Tianjin 300384, China.
Sensors (Basel, Switzerland)
|October 29, 2025
概括
这项研究引入了一种新的多式联络融合神经网络,用于听力受损人群的情绪识别. 拟议的方法通过使用注意力机制整合EEG和面部表情数据,显著提高了准确性.
科学领域:
- 神经科学是一个神经科学.
- 人工智能的人工智能
- 生物医学工程 生物医学工程
背景情况:
- 听力障碍在情绪表达和感知方面存在独特的挑战.
- 单模态情绪识别方法对于复杂的环境是不够的.
- 对于听力障碍者来说,开发有效的情感识别是至关重要的.
研究的目的:
- 提出一种多式融合神经网络,用于提高听力障碍者情绪识别.
- 为了利用脑电图 (EEG) 和面部表情数据.
- 改进现有的情绪识别技术.
主要方法:
- 开发了一种多式多头注意力融合神经网络 (MMHA-FNN).
- 使用微分 (DE) 和双线间位特征作为输入.
- 采用基于MBConv的模块用于空间时间大脑区域特征和基于变压器的多头自我注意力机制,用于跨模态特征交互.
主要成果:
- 在使用MED-HI数据集的四个分类任务 (快乐,悲伤,恐惧,平静) 中,平均准确率为81.14%.
- 显著优于特征连接 (71.02%) 和决策层融合 (69.45%).
- 证明了基于注意力的特征层相互作用融合的有效性.
结论:
- 脑电图和面部表情是对听力障碍者情绪识别的补充方式.
- MMHA-FNN有效地建模了跨模式依赖关系,并提高了识别性能.
- 这种方法为改善听力障碍者的情感沟通提供了一个有希望的解决方案.
