端到端的神经扬声器日记化与代适应性吸引器估计的代
Fengyuan Hao1, Xiaodong Li1, Chengshi Zheng1
1Key Laboratory of Noise and Vibration Research, Institute of Acoustics, Chinese Academy of Sciences, Beijing, 100190, China; University of Chinese Academy of Sciences, Beijing, 100049, China.
概括
本研究引入了一种代适应性吸引器估计网络,以提高端到端神经日记化 (EEND) 的性能. 这种新的方法完善了扬声器日记化结果,大大减少了模拟和现实数据集的错误.
科学领域:
- 语音处理 语音处理
- 机器学习 机器学习
- 人工智能的人工智能是人工智能.
背景情况:
- 端到端神经日记化 (EEND) 对说话者日记化和重叠语音有希望,但固定的吸引器限制了概括.
- 现有的EEND方法由于在估计说话者特定语音活动方面的局限性,与未见的数据作斗争.
研究的目的:
- 为了提高EEND扬声器日记的概括性和准确性.
- 引入一个代自适应吸引器估计 (IAAE) 网络,以改进日化结果.
主要方法:
- 开发了一个IAAE网络,使用自我注意的EEND (SA-EEND) 进行初始化.
- 整合了基于注意力的聚合机制,用于代吸引力估计.
- 使用的变压器解码器块用于自适应吸引器计算和统一的培训框架.
主要成果:
- 在第二次代时,在模拟数据上实现了高达44.8%的日记错误率 (DER) 和在CALLHOME数据集上达到23.6%的相对降低.
- 在CALLHOME数据集上进一步减少了DER,降至7.36%,并增加了精制步骤.
- 超过了基线SA-EEND方法,显示了日记准确度的提高.
结论:
- 拟议的IAAE网络显著提高了EEND扬声器日记化性能和概括性.
- 代改进和自适应吸引器导致更容易辨别的扬声器嵌入和最先进的结果.
- 该方法提供了一个强大的解决方案,用于在复杂的声学环境中准确的扬声器日记.
