深度神经编码解码模型将fMRI大脑活动与自然主义刺激联系起来

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 功能磁共振成像 (fMRI) 可以捕捉大脑活动,但时间分辨率有限.
• 像电影这样的自然刺激提供了丰富的视觉信息,用于研究大脑功能.
• 弥合刺激呈现和神经记录之间的差距对于准确的大脑解码至关重要.

研究的目的:

• 从fMRI数据开发一个端到端的深度神经编码器-解码器模型来编码和解码大脑活动.
• 从神经活动中重建视觉刺激,并确定参与视觉处理的大脑区域.
• 利用深度学习模型作为理解大脑视觉处理的代理.

主要方法:

• 提出了一个端到端的深度神经编码器-解码器模型.
• 时间卷积层被用来处理电影刺激和fMRI之间的时间分辨率差距.
• Saliency 地图被用来调查有助于视觉解码的大脑区域.

主要成果:

• 该模型成功地预测了视觉皮层内及周围的声音细胞活动.
• 从神经活动中实现视觉输入的重建,包括边缘,面部和对比.
• 发现的关键大脑区域包括中尾区域 (形状感知),状区域 (复杂的识别,面部) 和 (基本视觉特征).

结论:

• 深度学习模型可以有效地从fMRI数据中解码与视觉刺激相关的大脑活动.
• 该模型重建视觉特征的能力与已知的脑区已知的功能保持一致.
• 深度学习模型作为一个有价值的代理探测和理解在自然观看过程中大脑中的视觉处理.