SASEGAN-TCN:基于自我注意力生成对抗网络和时间卷积网络的语音增强算法
Rongchuang Lv1, Niansheng Chen1, Songlin Cheng1
1School of Electronic Information Engineering, Shanghai Dianji University, Shanghai 201306, China.
Mathematical biosciences and engineering : MBE
|March 29, 2024
概括
这项研究引入了一种新的SASEGAN-TCN语言增强模型,通过聚合特征信息来提高信号质量. 该模型显著提高了语音质量 (PESQ) 和短期客观可理解性 (STOI) 评分的感知评估.
科学领域:
- 人工智能的人工智能
- 信号处理 信号处理
- 机器学习 机器学习
背景情况:
- 传统的无监督语音增强模型在输入特征信息聚合方面扎,导致噪音和语音质量下降.
- 在训练期间不聚合语音特征引入了文物,对整体表现产生了负面影响.
研究的目的:
- 分析非聚合的输入语音特征对模型性能的影响.
- 提出一种新的语音增强模型,解决这些局限性,提高训练稳定性.
主要方法:
- 引入了一个时间卷积神经网络 (TCN),集成到SASEGAN架构中.
- 开发了SASEGAN-TCN模型,以捕获本地语音特征并汇总全球信息.
主要成果:
- 在瓦伦蒂尼数据集上获得了2.1636的语音质量感知评估 (PESQ) 评分和92.78%的短期目标可理解性 (STOI).
- 在THCHS30数据集上获得了1.8077的PESQ得分和83.54%的STOI.
- 在使用声学模型的增强语音数据时,语音识别错误率降低了17.4%.
结论:
- 该SASEGAN-TCN模型有效地提高了语音质量和可理解性.
- 与基线方法相比,拟议的模型显示出卓越的性能和训练稳定性.
- 使用SASEGAN-TCN的语音增强可以显著改善下游任务,如语音识别.
