ST-SHAP:一种分层和可解释的注意网络,用于情绪EEG表示学习和解码
Minmin Miao1, Jin Liang2, Zhenzhen Sheng1
1School of Information Engineering, Huzhou University, Huzhou 313000, China; Zhejiang Province Key Laboratory of Smart Management & Application of Modern Agricultural Resources, Huzhou University, Huzhou 313000, China.
Journal of neuroscience methods
|November 14, 2024
概括
这项研究介绍了ST-SHAP,这是一个新的注意力网络,用于从电脑电图 (EEG) 数据中识别情绪. 该方法在分类情绪方面取得了很高的准确性,并确定了关键的大脑区域,提高了模型的解释性.
科学领域:
- 神经科学是一个神经科学.
- 计算机科学 计算机科学
- 人与计算机的交互
背景情况:
- 使用脑电图 (EEG) 识别情绪是人机交互的一个关键领域.
- 在学习复杂的时空表示和从情感EEG数据中实现可解释的预测方面,仍然存在挑战.
研究的目的:
- 提出一种新的分层和可解释的注意力网络,ST-SHAP,用于自动情绪EEG分类.
- 将Swin变压器 (ST) 与SHapley添加式扩展 (SHAP) 结合起来,以提高性能和可解释性.
主要方法:
- 从情绪EEG数据中生成3D时空特征,使用频段过,时空细分,空间映射和插值.
- 采用了带有Swin变压器模块 (W-MSA,SW-MSA,补丁合并) 的层次关注网络,用于多层次的时空表示学习.
- 利用SHAP方法识别重要的大脑区域,并提高Swin变压器模型的解释性.
主要成果:
- 在受试者依赖的实验中,在SEED数据集上达到97.18%,在DREAMER数据集上达到96.06% (唤起) 和95.98% (价值).
- 通过数据驱动的方法确定了与神经生理学知识相一致的重要大脑区域.
- 在主体依赖和主体独立的情绪EEG解码方面,超过了现有的几种方法.
结论:
- 拟议的ST-SHAP算法在情绪EEG分类方面表现出显著的有效性和优越性.
- 斯温变压器和SHAP的集成为情感识别提供了一种强大而可解释的方法.
更多相关视频
05:36Central and Divided Visual Field Presentation of Emotional Images to Measure Hemispheric Differences in Motivated Attention
Published on: November 16, 2017
7.5K
06:37Author Spotlight: Addressing Technical and Subjective Challenges in Measuring Classroom Attention
Published on: December 15, 2023
2.6K
