使用先进的深度学习方法,从立体电脑学 (sEEG) 信号中解读语音
Xiaolong Wu1, Scott Wellington1, Zhichun Fu1
1Department of Electronic and Electrical Engineering, University of Bath, Bath, United Kingdom.
Journal of neural engineering
|June 17, 2024
概括
这项研究表明,先进的深度学习模型可以从立体脑电图 (sEEG) 信号中解码口语荷兰语. 这些发现凸显了sEEG在恢复语言障碍患者的沟通潜力.
科学领域:
- 神经科学是一个神经科学.
- 生物医学工程 生物医学工程
- 人工智能的人工智能
背景情况:
- 大脑-计算机接口 (BCI) 提供了一种通过解码大脑信号来恢复通信的方式.
- 虽然诸如微电极阵列和电皮录像等侵入性方法在语音BCI中很常见,但立体电脑录像 (sEEG) 的研究较少.
- 恢复语言障碍患者的沟通是神经科学和医学中的一个重大挑战.
研究的目的:
- 研究立体电脑学 (sEEG) 对于解码口语的有效性.
- 将深度学习模型的性能与使用sEEG数据的传统语音解码方法进行比较.
- 探索基于sEEG的BCI在语音恢复方面的潜力.
主要方法:
- 利用最近发布的sEEG数据从讲荷兰语的患者参与者.
- 实现并比较了三个解码方法:线性回归,基于循环神经网络 (RNN) 的序列对序列模型和变压器模型.
- 应用了先进的深度学习技术,直接从sEEG信号中解码语音波形.
主要成果:
- 在语音解码中,RNN和变压器模型都显著超过了线性回归方法.
- 在RNN和变压器模型之间没有观察到显著的性能差异.
- 语音解码只能使用sEEG电极的子集来实现,这表明电极位置的重要性.
结论:
- 从sEEG信号解读语音是可行的,并使用深度学习有效.
- sEEG电极的精确位置是影响语音解码性能的一个关键因素.
- sEEG为开发高级语音恢复大脑计算机接口提供了一种可行的,但尚未充分利用的模式.
