深度学习模型揭示了语境和听众注意力如何塑造语音到语言转换的电生理学相关性

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 计算语言学 计算语言学

背景情况:

• 人类大脑解码连续的语言,尽管交付的变化.
• 目前的语音处理模型经常使用语音等上下文不变类别.
• 这些模型可能不能完全代表语音分类的神经机制.

研究的目的:

• 使用深度学习系统模拟电脑电图 (EEG) 录制的语音理解.
• 研究语境和语言结构在神经语音处理中的作用.
• 为了比较深层与浅层神经网络层在模拟大脑对辅助和无辅助语音的反应.

主要方法:

• 利用深度学习语音识别系统Whisper来模拟来自有声书理解的EEG数据.
• 分析了与语音上下文持续时间 (5-10秒) 相关的EEG数据.
• 对比了不同Whisper模型层 (声学与语言) 在不同听力条件下预测神经反应的有效性.

主要成果:

• 威斯珀成功地模拟了EEG中的中间表示阶段,反映了前词和词汇处理.
• 电脑脑电图模型的准确性随着更长的语音上下文 (5-10秒) 的增长而提高,超过了传统模型.
• 更深层的低声层,编码语言信息,与早期的,以声学为重点的层相比,更好地为辅助语音提供了EEG模型.

结论:

• 像Whisper这样的深度学习模型可以提供大脑中语音到文本转换的全面描述.
• 神经语音处理从上下文信息和分层语言结构中获益,特别是在听话时.
• 这些发现表明,在辅助与无辅助演讲中,神经处理深度不同.