探索使用卷积神经网络来理解电影观看期间的大脑激活
Wonbum Sohn1,2, Xin Di1, Zhen Liang3
1Department of Biomedical Engineering, New Jersey Institute of Technology, Newark, NJ 07102, USA.
Psychoradiology
|November 25, 2024
概括
卷积神经网络 (CNN) 揭示了大脑区域如何处理视频中的视觉信息. 更深层的网络层与前脑区域更复杂的视觉处理相关,为神经功能提供了洞察力.
科学领域:
- 神经科学是一个神经科学.
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 像视频这样的自然刺激唤起了复杂的大脑活动.
- 将特定的大脑功能归因于复杂刺激的激活是具有挑战性的,特别是对于更高层次的认知过程,如社交互动.
研究的目的:
- 测试卷积神经网络 (VGG-16) 的不同层是否对应于不同的大脑激活水平,反映视觉处理层次结构.
- 确定与VGG-16网络更深层次相关的大脑区域.
主要方法:
- 分析了观看卡通视频的参与者的功能性MRI数据.
- 使用预训练的VGG-16卷积神经网络,将层次视频特征映射到大脑激活水平.
- 使用视频和网络内核的平均激活模式的时间序列,采用了Voxel智能建模.
主要成果:
- 较低的CNN层与较低视觉大脑区域的活动相关;一些内核出乎意料地与后侧环状皮层联系在一起.
- 更深层的CNN层与前侧视觉皮层区域和超边缘回环的激活有关.
结论:
- 卷积神经网络显示了将视频内容与大脑功能联系起来的潜力和局限性.
- 这种方法提供了关于不同大脑区域如何对不同级别的视觉处理层次的反应的见解.


