在EEG中使用深度神经网络识别感知句子

科学领域:

• 神经科学是一个神经科学.
• 计算机科学 计算机科学
• 生物医学工程 生物医学工程

背景情况:

• 从大脑活动中解读语音对具有语言障碍的个体进行沟通恢复至关重要.
• 深度神经网络 (DNN) 对语音解码有希望,但有限的患者数据是一个挑战.
• 利用健康参与者的数据可以克服数据的局限性,加速神经假体的发展.

研究的目的:

• 通过使用DNNs来研究从脑电图 (EEG) 数据中解码感知到的西班牙语句子的可行性.
• 评估语音解码的独立主体,混合主体和微调方法.
• 为推进语音神经假体研究,向公众提供一套新的EEG数据集.

主要方法:

• 通过64个道收集了56名健康参与者的EEG数据.
• 训练了多个DNN (EEGNet,DeepConvNet,ShallowConvNet) 来分类感知到的句子.
• 雇佣了独立学科,混合学科和微调培训策略.
• 使用Grad-CAM进行网络预测的可视化和分析.

主要成果:

• 在使用EEG的30个类别中实现了高精度的句子身份解码.
• 独立于主体和混合主体的方法显示了可比的准确性,微调产生了优异的结果.
• 在句子解码方面,EEGNet和DeepConvNet的表现优于ShallowConvNet.
• 格拉德-CAM分析确定了参与语音感知的关键大脑区域.

结论:

• 通过使用EEG,DNN可以有效地从感知到的语音中解码句子身份,从而证明了普遍的特征学习和适应性.
• 微调方法显示了个性化语音解码的潜力.
• 这些发现支持基于EEG的语音神经假体的开发,特别是对于数据稀缺的场景.