合成音频从舌头运动在演讲使用标记MRI通过变压器

科学领域:

• 生物医学工程 生物医学工程
• 语音科学 语言科学
• 人工智能的人工智能

背景情况:

• 了解舌头运动和语音产生之间的联系对于语音运动控制理论和治疗语音障碍至关重要.
• 由于数据结构差异,现有的方法在将标记MRI的4D运动场与1D音频波形相关联方面面临挑战.

研究的目的:

• 开发一个高效的人工智能框架,将4D舌头运动场转换为2D音频谱.
• 探索语音合成的舌头运动中的预测信息.
• 通过生成的对抗训练来提高生成的频谱的质量.

主要方法:

• 一个编码器-解码器翻译网络,利用3D卷积空间建模和基于变压器的时间建模.
• 一个不对称的2D卷积解码器,从提取的运动场特征生成光谱图.
• 生成对抗性培训,以提高生成光谱的合成质量.

主要成果:

• 该框架成功地从4D运动场序列中生成了清晰的音频谱图.
• 证明了从舌头运动数据中合成音频波形的能力.
• 实验对63个配对运动场和语音波形数据集进行了实验.

结论:

• 拟议的框架有效地弥合了生物机械运动数据和声学语音信号之间的差距.
• 这种方法在推进语音运动控制研究方面具有重大潜力.
• 它可以为语言障碍的新诊断和治疗策略的开发提供信息.