Diff-ETS:学习一种扩散概率模型,用于电肌图转换为语音

科学领域:

• 生物医学工程 生物医学工程
• 语音技术 语言技术
• 机器学习 机器学习

背景情况:

• 通过将肌肉信号转化为可听的语音,使得无声语音接口成为可能.
• 目前的ETS模型由于有限的数据和信号噪声而难以实现自然性.

研究的目的:

• 为了增强合成语音的自然性,在电肌图到语音 (ETS) 转换中.
• 引入Diff-ETS,这是一个新的ETS模型,包含扩散概率模型.

主要方法:

• 拟议的Diff-ETS,使用基于分数的扩散概率模型来改进来自EMG编码器的声学特征.
• 评估了扩散模型的微调和端到端的培训.
• 与基线ETS模型进行差异ETS比较.

主要成果:

• 与基线相比,diff-ETS显示了语言自然性的显著改善.
• 客观指标和听力测试证实了合成语音的提高质量.

结论:

• 拟议的Diff-ETS模型有效地提高了从电肌图信号中合成的语音的自然性.
• 扩散模型为提高ETS转换质量提供了一个有希望的方法.