在无声语音制作过程中,从人类皮质表面的录音中持续合成人工语音声音
Kevin Meng1,2, Farhad Goodarzy3, EuiYoung Kim4
1Department of Biomedical Engineering, The University of Melbourne, Melbourne, Australia.
Journal of neural engineering
|July 17, 2023
概括
这项研究探讨了患者的语音合成的大脑与计算机接口. 研究人员成功地从无声演讲期间的大脑信号中产生了人工语音声音,为改进的通信假肢铺平了道路.
科学领域:
- 神经科学是一个神经科学.
- 生物医学工程 生物医学工程
- 语音科学 语言科学
背景情况:
- 大脑-计算机接口 (BCI) 为言语丧失的人提供沟通恢复.
- 沉默的语音生成对基于BCI的语音合成提出了一个独特的挑战.
研究的目的:
- 为了证明闭环合成人造语音声音的可行性,在无声语音制作过程中从人类皮质表面的录音.
- 评估语音合成解码模型在不同语音任务 (表达,模仿,想象) 中的性能.
主要方法:
- 10名患有的参与者接受了临时的内电极植入.
- 一个解码模型被训练在公开的文字阅读,并测试在公开的,模仿的,和想象的文字阅读.
- 客观 (语音录音) 和主观 (感知判断) 的评估被用来评估合成语音.
主要成果:
- 人工语音声音是在两个参与者与前中枢环覆盖范围的公开和模仿发言期间合成的.
- 纯粹的听众正确地识别了大约三分之一的合成声音.
- 在想象的发言中,语音合成并没有成功,但在后中心及上时中发现了潜在的神经模式.
结论:
- 闭环语音合成从静音语音期间的皮质录音是可行的,特别是对于公开和模仿的语音.
- 进一步的研究应该探索更广泛的皮质覆盖,包括额头区域,以增强想象语音合成.
- 任务指令和大脑覆盖是神经假体中沉默语音研究的关键考虑因素.


