主体不可知的基于变压器的神经语音从表面和深度电极信号解码信号.
Junbo Chen1, Xupeng Chen1, Ran Wang1
1Electrical and Computer Engineering Department, New York University, 370 Jay Street, Brooklyn, 11201, NY, USA.
这项研究介绍了SwinTW,SwinTW是一种深度学习模型,用于使用来自任何电极类型的脑信号来解码语音. 它从电皮质谱和立体EEG数据中实现了高精度的语音解码,即使在看不见的参与者中也是如此.
科学领域:
- 神经科学是一个神经科学.
- 人工智能的人工智能
- 生物医学工程 生物医学工程
背景情况:
- 来自神经信号的语音解码对神经假体至关重要.
- 以前的方法通常仅限于二维电极网 (ECoG) 和单个患者数据.
- 需要适应多种电极类型 (ECoG,sEEG) 和多个参与者的模型.
研究的目的:
- 开发一种深度学习模型,用于使用内电极解码语音.
- 设计一个与表面 (ECoG) 和深度 (sEEG) 电极兼容的架构.
- 允许对多参与者数据进行训练,使用可变的电极位置来实现概括性.
主要方法:
- 提出了一个基于变压器的新型模型架构,SwinTW.
- 利用3D电极位置进行任意定位,超越2D网格约束.
- 培训了专科和多患者模型.
主要成果:
- 具体对象的SwinTW模型实现了高的解码精度 (ECoG的PCC=0.817,sEEG的PCC=0.798).
- 结合不同的电极类型提高了性能 (PCC=0.838).
- 多患者模型在未见的参与者 (PCC=0.765) 上显示出强大的概括性.
结论:
- SwinTW允许灵活使用临床最优的电极放置用于语音神经假体.
- 可概括的多患者模型可以在没有配对声神经数据的情况下应用于新患者.
- 提升了语言障碍患者的神经假肢能力.
更多相关视频
11:14A Novel Experimental and Analytical Approach to the Multimodal Neural Decoding of Intent During Social Interaction in Freely-behaving Human Infants
Published on: October 4, 2015
11:39Assessment of Audio-Tactile Sensory Substitution Training in Participants with Profound Deafness Using the Event-Related Potential Technique
Published on: September 7, 2022
相关概念视频
Action Potential: Phases of Stimulation
Resting Phase:
In this phase, the cell's membrane is at its resting potential, typically around -70 millivolts (mV) for neurons. Inside the cell, there is a higher concentration of potassium ions (K+) and a lower concentration of sodium ions (Na+). Voltage-gated sodium channels are closed, and...
Instrumentation Amplifier
To overcome this challenge, an ECG machine utilizes an instrumentation amplifier. This specialized amplifier is...
Energy and Power Signals
Neurons as Communicators of the Brain
Cell Body
The cell body, also known...
Neuronal Communication
