通过扩散模型和规划梯度逆转来解开prosody表示的纠

科学领域:

• 语音处理和机器学习
• 计算语言学计算语言学
• 情感计算是一种情感计算.

背景情况:

• 语音对于语音理解和表达情绪至关重要.
• 提取扬声器独立的旋律是具有挑战性的,因为它与扬声器特定的特征纠在一起.
• 准确的体提取对于辅助技术如SER和可控制的语音合成至关重要.

研究的目的:

• 提出一个新的模型,Diffsody,用于解和精炼语音独立的表达式表达.
• 提高语音情感识别 (SER) 和自动抑郁检测 (ADD) 任务的表现.
• 为了证明Diffsody在语音转换等应用中的潜力.

主要方法:

• 利用基于语义信息和扬声器嵌入的扩散模型来解开表述.
• 在无人监督的光谱图重建中采用体编码器.
• 集成一个计划的梯度反转层 (sGRL) 来学习扬声器不变的前奏表达.
• 协同整合Difsody与WavLM语义表示模型.

主要成果:

• 迪夫索迪 (Diffsody) 有效地解开了与扬声器独立的普罗索迪表示.
• 该sGRL方法防止了扬声器特定信息泄露,通过t-SNE和扬声器验证得到证实.
• 在独立于扬声器的SER和ADD任务中观察到显著的性能提升.
• 与WavLM集成进一步提高了性能,超过了当代方法.

结论:

• 迪夫索迪成功地因子化了与扬声器独立的旋律,增强了SER和ADD.
• 该模型对实际应用具有前景,包括语音和风格转换.
• 迪夫索迪 (Diffsody) 提供了一种强有力的方法来解开语音中的表情特征.