自然声音可以从人类神经成像数据重建,使用深度神经网络表示

科学领域:

• 神经科学是一个神经科学.
• 听觉感知是一种听觉感知.
• 机器学习 机器学习

背景情况:

• 使用fMRI对大脑活动的视觉信息的解码已经很先进,但由于时间复杂性和fMRI限制,听觉重建仍然很困难.
• 深度神经网络 (DNN) 提供层次化的听觉特征,可以弥合重建复杂声景的差距.
• 了解声音的神经表现对于推进脑计算机接口和听觉假肢至关重要.

研究的目的:

• 开发和评估一种用于从大脑活动中重建听觉体验的新方法.
• 调查使用解码深度神经网络 (DNN) 功能用于声音重建的有效性.
• 评估重建的声音的感知可信性和概括能力.

主要方法:

• 集成的大脑解码DNN衍生的听觉特征与一个音频生成模型.
• 利用功能性MRI (fMRI) 数据在听觉皮层捕获人口神经反应.
• 将解码的DNN特征与传统的光谱时间和基于调制的特征进行比较.

主要成果:

• 解码的DNN特征明显优于其他特征类型,使各种类别的感知可能的声音重建成为可能.
• 重建准确地捕获了短期的光谱特性和音色 (例如,语音,音乐),但没有长时间序列.
• 该方法证明了声音类别的概括性,并在选择性听觉注意力任务中反映了所听到的声音.

结论:

• 拟议的框架成功地将大脑活动映射到听觉体验中,从神经数据中推进声音重建.
• DNN功能对于解码听觉信息是有效的,为未来的听觉研究和应用提供了一个有希望的途径.
• 虽然受到fMRI时间分辨率的限制,但该方法代表了理解和重建内部审计表示的重要一步.