基于CNN-变压器网络的脑血氧信号的情绪识别方法研究
Zihao Jin1, Zhiming Xing1, Yiran Wang1
1School of Optical-Electrical and Computer Engineer, University of Shanghai for Science and Technology, Shanghai 200093, China.
Sensors (Basel, Switzerland)
|October 28, 2023
概括
这项研究引入了一种新的CNN-Transformer网络,用于使用功能近红外光谱 (fNIRS) 脑信号进行情绪识别. 新模型在识别快乐,中立和悲伤方面达到86.7%的准确性,超过了传统的CNN.
科学领域:
- 神经科学是一个神经科学.
- 认知科学 认知科学
- 机器学习 机器学习
背景情况:
- 情绪识别是一个不断增长的研究领域,但使用大脑血液氧气信号的研究是有限的.
- 像电脑电图 (EEG) 这样的传统方法面临着可移植性和信号干扰的挑战.
研究的目的:
- 使用功能近红外光谱 (fNIRS) 调查情绪识别.
- 根据fNIRS数据开发一个先进的深度学习模型,以改进基于fNIRS数据的情绪状态分类.
主要方法:
- 收集了fNIRS数据,来自参与者观看视频片段,引起喜悦,中立和悲伤.
- 通过8个道处理和分析了前额叶皮质中脑血氧度的变化.
- 提出并实施了CNN-Transformer网络,集成卷积层用于特征提取和变压器用于基于注意力的分析.
主要成果:
- 拟议的CNN-Transformer网络在分类三种情绪状态时实现了86.7%的准确性.
- 这与标准卷积神经网络 (CNN) 模型相比,相当于大约5%的显著改进.
- 该模型有效地利用多头注意力,专注于相关的空间和通道信息.
结论:
- 美国有线电视新闻网 (CNN-Transformer) 网络使用fNIRS时间序列数据展示了情感识别的卓越性能.
- 这种方法为开发更准确和便携式情绪识别系统提供了有希望的方向.
- 这些发现有助于情感计算和神经成像分析领域.
