了解深度语音识别系统中的适应性,多尺度的时间集成
Menoua Keshishian1, Sam V Norman-Haignere1, Nima Mesgarani1
1Department of Electrical Engineering, Zuckerman Mind Brain Behavior Institute, Columbia University, New York, NY 10027.
Advances in neural information processing systems
|May 13, 2024
概括
深度神经网络 (DNN) 通过整合跨不同时间尺度的信息来学习语音. 这项研究揭示了DNN中的层次结构,早期层使用时间束集成,后来的层使用结构束集成.
科学领域:
- 计算神经科学是一种计算神经科学.
- 机器学习是机器学习.
- 语音处理 语音处理
背景情况:
- 自然语音信号在多个时间尺度上表现出层次结构.
- 深度神经网络 (DNN) 在模式识别方面是有效的,但它们的时间整合机制尚未得到充分理解.
研究的目的:
- 用时间上下文不变 (TCI) 范式研究DNN中的时间整合.
- 了解DNN,特别是DeepSpeech2,如何在不同的时间尺度上处理语音.
主要方法:
- 应用TCI范式来测量DNN单位中的时间整合窗口.
- 分析了不同背景下对刺激部分的反应.
- 研究了培训期间的整合窗口变化以及时间延长/压缩的语音.
主要成果:
- 大多数DNN单元都具有紧的集成窗口.
- 培训导致早期层缩小集成窗口,并在后期层扩大窗口,形成层次结构.
- 确定了一个过渡点,即集成窗口变得结构约束 (例如语音持续时间),而不是绝对时间依赖.
- 在循环和卷积网络中观察到类似的现象,在循环网络中结构约束集成更为突出.
结论:
- 语音编码的DNN采用一个层次的模式:早期层的短,时间束的窗口和后来的层的长,结构束的窗口.
- TCI范式为分析复杂机器学习模型中的时间集成提供了一种多功能工具.
