一个轻量级的语音增强网络,融合了骨头和空气导通的语音
Kelan Kuang1,2, Feiran Yang3, Jun Yang1,2
1Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences, Beijing 100190, China.
The Journal of the Acoustical Society of America
|August 26, 2024
概括
这项研究介绍了一种新的语音增强模型,它结合了空气导通 (AC) 和骨导通 (BC) 语音信号. 该模型通过减少环境噪音显著提高了语音质量,实现了显著的PESQ分数增加.
科学领域:
- 信号处理 信号处理
- 声学 声学 在声学方面
- 机器学习 机器学习
背景情况:
- 空气导管 (AC) 麦克风捕捉清晰的语音,但也可以捕捉环境噪音.
- 骨导管 (BC) 麦克风是无噪声的,但提供有限的语音带宽.
- 整合AC和BC语音提供了一个强大的语音增强的潜在解决方案.
研究的目的:
- 开发一种语音增强模型,协同利用AC和BC语音信号.
- 通过减轻环境噪音干扰来提高噪音环境中的语音质量.
- 为了利用注意力机制,有效地进行特征融合和语音信号重建.
主要方法:
- 将BC和AC语音的光谱输入到基于注意力的特征融合模块中.
- 采用密封卷积注意网络 (DenGCAN) 作为语音口罩估计的支柱.
- 将改进的注意力门集成到DenGCAN的跳过连接中,以增强功能焦点.
主要成果:
- 拟议的模型成功地融合了AC和BC语音特征.
- 具有增强的注意力门的DenGCAN骨干有效地估计了语音口罩.
- 实验结果显示,平均宽带-PESQ比噪音AC语音提高1.870.
结论:
- 提议的语音增强模型有效地利用了AC和BC语音的互补优势.
- 具有注意力门的DenGCAN架构提供了一种轻量级但强大的降噪解决方案.
- 这种方法在语音增强方面提供了显著的改进,特别是在杂的环境中.
