许多但并非所有深度神经网络音频模型都捕获大脑反应,并显示模型阶段和大脑区域之间的对应

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 审计系统建模 审计系统建模

背景情况:

• 深度神经网络 (DNN) 是视觉系统的先进预测模型.
• 尽管有潜在的科学和工程用途,但它们在听觉系统建模中的应用尚未得到充分探索.
• 之前的研究表明,经过音频训练的DNN可以预测听觉皮质反应,但跨模型的概括性仍然不清楚.

研究的目的:

• 通过使用各种DNN在听觉皮层评估模型-大脑对应.
• 确定不同训练任务如何影响DNN性能,从而预测大脑反应.
• 确定哪些DNN架构和培训策略最能模拟人类听觉系统.

主要方法:

• 评估公开可用和内部训练的音频DNN.
• 将DNN预测与听觉皮层的标准过器银行模型进行比较.
• 通过将DNN阶段映射到特定的听觉皮层区域来分析模型-大脑对应.

主要成果:

• 大多数测试的DNN在预测听力皮层fMRI反应方面表现优于传统模型.
• 发现了一种系统的对应:中间的DNN阶段预测了主要的听觉皮层,而更深的阶段预测了非主要的皮层.
• 在语音噪音识别或多任务训练的模型,与在静音语音训练的模型相比,产生了更好的大脑预测.

结论:

• 作为听觉系统的计算模型,DNN显示出显著的希望.
• 训练任务显著影响模型预测神经表征的能力,噪声强度是有益的.
• 当前的DNN虽然强大,但尚未完全捕捉到听觉皮层处理的复杂性.