基于深度学习的普通话音调可控电喉发言的音调增强研究

科学领域:

• 语音处理 语音处理
• 人工智能的人工智能
• 语言学的语言学.

背景情况:

• 电喉 (EL) 语音转换的深度学习在非音调语言中表现出色,但在普通话中文等音调语言中扎.
• 现有的EL语音往往缺乏关键的语音信息,导致转换质量低于最佳.
• 电喉语音对于有语言障碍的人来说至关重要,需要提高自然性和可理解性.

研究的目的:

• 为了提高普通话中文中电喉 (EL) 语音的音质质量.
• 为了提高普通话语音调在EL语音中的准确性和自然性.
• 探索EL语音增强的先进生成模型和信号处理技术.

主要方法:

• 用调音控制的电喉来产生基本的音调EL语音.
• 使用了循环一致的对抗网络 (CycleGAN) 与连续波形变换 (CWT) 结合使用.
• 为了增强特征提取,CWT分解了基本频率 (F0),然后将其输入CycleGAN以进行音调提炼.

主要成果:

• 与原来的EL音调相比,转换的普通话音调显示出明显改善的音调轮,范围和值.
• 根F0的平均平方误差从1.106下降到0.277,F0相关系数从0.393提高到0.781.
• 增强的EL语音表现出更光滑的音调,并捕捉了像正常语音中存在的"偏移部分和发作部分"这样的微妙细节.

结论:

• 拟议的方法有效地增强了高调控制的EL语音中的普通话音调,显著提高了转换精度.
• 这种方法为EL语音语言的语音增强提供了一个新的解决方案,解决了一个关键的局限性.
• 这些发现为研究和应用开辟了新的途径,改善了在音调语言环境中使用电喉装置的个体的沟通.