从皮质活动解读公开语音:不同线性方法的比较
Gaël Le Godais1, Philémon Roussel1, Florent Bocquelet1
1Univ. Grenoble Alpes, INSERM, U1216, Grenoble Institut Neurosciences, Grenoble, France.
Frontiers in human neuroscience
|July 10, 2023
概括
线性解码器显示为实时语音大脑计算机接口 (BCI) 的承诺,将皮质活动解码为语音. 虽然表现超出了机会,但需要进一步开发可理解的语音重建.
科学领域:
- 神经科学是一个神经科学.
- 生物医学工程 生物医学工程
- 信号处理 信号处理
背景情况:
- 语音脑计算机接口 (BCI) 旨在从皮质活动实时重建语音.
- 快速的,毫秒时间尺度重建需要高效的计算,这使得线性解码器具有吸引力.
- 线性解码器在运动BCI中已经很成熟,但在语音和关节运动解码方面尚未得到充分探索.
研究的目的:
- 为了比较线性回归方法用于从皮质活动中脱机解码公开语音.
- 调查直接声学解码与通过关运动间接解码.
- 为了评估不同的线性解码策略的表现,用于语音重建.
主要方法:
- 比较了香草线性回归,度调节的线性回归和部分最小平方回归.
- 研究了两个解码范式:直接的声学特征解码和间接的解码通过表达表示.
- 使用动态时间扭曲来估计关节轨迹,并通过特征相关性评估解码器精度.
主要成果:
- 所有线性方法都实现了显著高于机会水平的性能.
- 直接和间接解码范式显示了相似的性能,直接解码略有优势.
- 当前的线性方法无法实现可理解的语音重建.
结论:
- 线性解码器可用于从皮质活动进行初始语音重建.
- 需要进一步的研究来改进神经语音解码器,以实现毫秒时间尺度,可理解的语音.
- 优化解码器以实现快速的,逐重建仍然是语音BCI的一个关键挑战.
更多相关视频
13:32Recording Human Electrocorticographic ECoG Signals for Neuroscientific Research and Real-time Functional Cortical Mapping
Published on: June 26, 2012
25.8K
06:18Qualitative and Comparative Cortical Activity Data Analyses from a Functional Near-Infrared Spectroscopy Experiment Applying Block Design
Published on: December 3, 2020
3.8K
