适应性选择局部和非局部注意力机制,以增强语音
Xinmeng Xu1, Weiping Tu2, Yuhong Yang3
1National Engineering Research Center for Multimedia Software, School of Computer Science, Wuhan University, China.
概括
这项研究引入了用于语音增强的适应性选择网络,在局部和非局部注意力机制之间动态选择. 注意选择语音增强网络 (ASSENet) 可有效地从噪音混合物中改进目标语音估计.
科学领域:
- 信号处理 信号处理
- 人工智能的人工智能
背景情况:
- 局部和非局部注意力机制对于语音增强至关重要,但与动态声学特征作斗争.
- 依靠单一的注意力类型限制了对歧视性信息的准确捕获,以将目标语音与干扰分开.
研究的目的:
- 开发一种新的语音增强网络,可以在本地和非本地注意力机制之间进行适应性选择.
- 通过动态地利用最有效的注意力策略,改善从噪音环境中估计目标语言.
主要方法:
- 引入了一个适应性选择网络,通过强化学习和根据难度调整的奖励进行培训.
- 开发了注意力选择语音增强网络 (ASSENet),结合了具有适应性注意力选择的动态块.
- 在ASSENet框架内整合了本地和非本地关注机制.
主要成果:
- 拟议的ASSENet表现出与现有的语音增强方法相比具有可比和优越的性能.
- 适应性选择机制有效地捕捉动态声学特征,以改善语音估计.
- 该方法以具有吸引力的计算成本实现了这些结果.
结论:
- ASSENet提供了一种有效的语音增强方法,通过自适应地利用本地和非本地注意力.
- 动态注意力选择策略增强了将目标语音与复杂的背景噪音分离的能力.
- 这种方法为语音增强任务提供了一个计算效率高,性能高的解决方案.
