解码来自EEG的隐蔽语音按功能区域空间时间变压器

科学领域:

• 神经科学是一个神经科学.
• 认知科学 认知科学
• 信号处理 信号处理

背景情况:

• 从脑电图 (EEG) 中解码隐藏的语音是困难的,因为对神经发音映射的理解有限,信号噪音比率低.
• 隐蔽言论,即想象在没有可听到的声音或运动的情况下说话,为神经解码带来了独特的挑战.

研究的目的:

• 开发一个有效的框架来从EEG信号中解码隐藏的语音.
• 调查隐藏言语产生背后的神经机制,并识别歧视性神经特征.

主要方法:

• 从57名参与者中开发了一个大规模的多发言演讲EEG数据集.
• 引入了功能区域时空变压器 (FAST) 框架来处理EEG信号.
• 利用变压器架构对EEG数据进行序列编码.

主要成果:

• 通过FAST生成的激活地图识别出独特和可解释的语音神经特征.
• 在隐蔽演讲期间,可视化了前额和部大脑区域的神经激活.
• 证明了FAST框架在EEG语音解码中的有效性.

结论:

• 这项研究为EEG语音解码提供了第一个可解释的证据.
• 快速框架为隐藏的语音神经表示的歧视特征提供了新的见解.
• 开发的数据集和框架为未来关于语音脑电脑接口的研究铺平了道路.