脑电图翻译器:从想象的语音中进行特定主体脑电图和语音重建的跨模式框架
概括
这项研究引入了脑-计算机接口 (BCI) 的新框架,该框架将想象式语音电脑学 (EEG) 翻译为公开语音EEG. 这一进步提高了言语障碍患者的语音解码精度.
科学领域:
- 神经科学是一个神经科学.
- 生物医学工程 生物医学工程
- 人工智能的人工智能
背景情况:
- 非侵入性脑电脑接口 (BCI) 在语言障碍患者的沟通方面表现有前途.
- 解码与语音相关的脑电图 (EEG) 信号是关键,但为了更好的表现,需要跨域重建.
研究的目的:
- 提出一个交叉模式的EEG翻译框架,从想象的语音EEG重建公开的语音EEG.
- 为了增强特定主题的语音合成,并提高BCI系统的性能.
主要方法:
- 整合了基于扩散的模型与生成对抗网络 (GAN) 培训,用于跨域EEG重建.
- 嵌入基于光谱图的特征和空间和光谱损失的融合.
- 在EEG信号和光谱图特征上训练模型,以保持时间频率特性.
主要成果:
- 与原先想象的EEG相比,重建的EEG提高了6.2%的类解码精度.
- 该框架成功地保存了EEG类信息和时间频域属性.
- 分类分析为解码性能变化提供了语言洞察力.
结论:
- 扩散驱动的EEG翻译显示了促进语音BCI的巨大潜力.
- 将深度学习与语言洞察力结合在一起,对于改善神经信号重建和解释至关重要.
- 这种方法为语言障碍者提供了更有效的沟通工具的途径.
