跨扬声器培训和适应电肌图转换为语音的培训

科学领域:

• 语音合成 语音合成
• 生物医学工程 生物医学工程
• 机器学习 机器学习

背景情况:

• 从关节肌肉发出的表面肌电图 (EMG) 信号可以使用肌电图转化为语音 (ETS) 模型合成语音.
• 目前的ETS模型通过使用单个扬声器的多个录音来改善合成.

研究的目的:

• 评估是否使用来自多个扬声器的录音可以提高ETS模型的性能.
• 评估跨扬声器ETS模型对具有有限数据的新扬声器的适应性.

主要方法:

• 录制了EMG-Vox集体,其中包含来自五个会议的四个演讲者的EMG和音频信号.
• 交叉扬声器和单扬声器ETS模型进行了比较.
• 使用跨扬声器模型进行了扬声器适应实验.

主要成果:

• 跨扬声器型号的平均性能明显优于单扬声器型号.
• 绩效的提高归因于更大的培训数据集.
• 从跨扬声器模型进行扬声器调整,与从头开始训练相比,产生了更高的合成质量.

结论:

• 交叉扬声器ETS模型在语音合成中优于单扬声器模型.
• 交叉扬声器模型的扬声器适应对于未见的扬声器是有效的,比会话适应获得可比或更好的结果.