深度学习用于内在语音识别:对EEGNet和光谱时间变压器在双模EEG-fMRI数据上的试点比较研究

科学领域:

• 认知神经科学 认知神经科学
• 机器学习 机器学习
• 大脑与计算机接口 (BCI)

背景情况:

• 内在语言,词语的精神表达,是一个关键的认知过程,在BCI中有新兴的应用.
• 非侵入性脑电图 (EEG) 为解码内在语音提供了一个有前途的途径.
• 评估深度学习模型对于推进基于EEG的内在语言分类至关重要.

研究的目的:

• 为了比较深度学习模型的性能,特别是EEGNet和光谱时间变压器,用于内在语音分类.
• 评估这些模型的通用性,使用来自双模EEG-fMRI数据集的非侵入性EEG数据.
• 识别有效的模型架构和用于解码内在语音的功能.

主要方法:

• 四名参与者执行了涉及八个目标词的内在语音任务.
• 用EEGNet和光谱时空变压器预处理和细分EEG信号进行分类.
• 使用Leave-one-subject-out (LOSO) 交叉验证,使用准确度,宏观F1得分,精度和回忆来评估性能.

主要成果:

• 谱时变压器获得了最高的精度 (82.4%) 和宏F1得分 (0.70),超过了EEGNet模型.
• 基于波形的时间频率特征和注意力机制显著提高了分类性能.
• 社会词类别显示出比数字概念更好的区分能力,表明不同的心理处理.

结论:

• 基于注意力的变压器模型显示出从EEG信号中解码内在语言的巨大潜力.
• 这些发现支持开发非侵入性,实时的BCI,用于严重残疾人的沟通康复.
• 未来的研究应该专注于扩大词汇,增加参与者多样性,并在临床环境中验证模型.