基于EEG的多式联络情绪识别的跨模式可信度建模
Yuzhe Zhang1, Huan Liu1, Di Wang2
1School of Computer Science and Technology, MOEKLINNS Lab, Xi'an Jiaotong University, Xi'an 710049, People's Republic of China.
Journal of neural engineering
|April 2, 2024
概括
这项研究引入了一种新的多式融合模型,用于使用脑电图 (EEG) 和外围信号进行情绪识别. 该模型通过解决模式异质性和融合可信性来提高准确性,这对于可靠的情绪检测至关重要.
科学领域:
- 情感计算是一种情感计算.
- 多模式机器学习是多模式机器学习.
- 生物医学信号处理
背景情况:
- 使用脑电图 (EEG) 识别情绪是一个不断发展的领域.
- 将EEG与外围生理信号相结合可以提高识别性能.
- 现有方法面临的挑战是模式异质性和融合可信度.
研究的目的:
- 开发一种新的多式联络生理信号融合模型,用于可靠的基于EEG的情绪识别.
- 在多式联络情感识别中解决模式异质性和融合可信性问题.
主要方法:
- 实现了局部自我注意力变压器,用于模式内特征提取.
- 设计了一台双向交叉注意力变压器,以捕获模式间的相关性.
- 引入了顺序模式的一致性,以测量和确保核聚变的可信性.
主要成果:
- 与最先进的基线相比,获得了4.58% (DEAP) 和3.97% (MAHNOB-HCI) 的精度改进.
- 提高了F1分数的0.63% (DEAP) 和4.21% (MAHNOB-HCI) 的改善.
- 通过广泛的实验和分析证明了可信度建模的有效性.
结论:
- 拟议的多式联络融合架构显著提高了情绪识别性能.
- 可信度建模对于强大而可靠的多式联络情绪识别至关重要.
- 该方法有效地处理模式异质性,并确保融合的可信性.
更多相关视频
05:48Author Spotlight: Investigating the Impact of Emotional Prosodies on Voice Recognition and Perception
Published on: August 9, 2024
1.5K
11:25Simultaneous Scalp Electroencephalography EEG, Electromyography EMG, and Whole-body Segmental Inertial Recording for Multi-modal Neural Decoding
Published on: July 26, 2013
43.3K
