合成可理解的发言来自EEG的想象语音

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 语音技术 语言技术

背景情况:

• 恢复发言障碍患者的口头沟通是一个重大挑战.
• 非侵入性脑电脑接口,如脑电图 (EEG),由于其便携性和方便性,为恢复通信提供了一个有希望的途径.

研究的目的:

• 开发和评估一个EEG-to-speech (ETS) 系统,能够从想象的语音中合成可听和可理解的语言.
• 探索一种新的深度神经网络架构和培训方法的有效性,用于直接将EEG转换为语音.

主要方法:

• 开发了一个End-to-EndEEG-to-speech系统 (ETS),使用专门设计的X形深度神经网络 (DNN).
• 动态时间扭曲被纳入了DNN训练过程中,使用实际的语音EEG数据将想象中的语音EEG信号与语音信号对齐.
• 该系统包括DNN的部分反机制和基于光谱减去的语音增强来提高合成语音质量.

主要成果:

• 通过ETS系统,13名参与者解读了4个中文非字体单词,平均准确率为91.23%.
• 合成的演讲获得了3.50的平均平均意见得分 (MOS),最佳表现达到99%的准确性和3.99的MOS.
• 这项研究证明了从想象式语音的非侵入性EEG信号中产生可理解的语音的可行性.

结论:

• 开发的EEG-to-speech系统代表了用于恢复通信的非侵入性脑电脑接口的重大进步.
• 这些发现表明,直接从EEG解码想象语音是一种可行的方法,可以帮助个人恢复口头语言能力.
• 在这个领域进行进一步的研究和开发有可能改善严重沟通障碍患者的生活质量.