img2fmri:使用深度神经网络预测小组级fMRI对视觉刺激的反应的Python包.
Maxwell Bennett1, Christopher Baldassano2
1Department of Computer Science, Columbia University.
Aperture neuro
|June 3, 2024
概括
我们开发了img2fmri,这是一个使用深度神经网络 (DNN) 的Python软件包,用于从图像中预测功能磁共振成像 (fMRI) 脑活动. 这个模型准确地捕捉了视觉皮层对复杂刺激的反应中的时间动态.
科学领域:
- 神经科学是一个神经科学.
- 计算机科学 计算机科学
- 机器学习 机器学习
背景情况:
- 深度神经网络 (DNN) 在视觉分类任务中表现出色.
- DNN已经在预测人类视觉皮层中的皮质反应方面取得了成功.
- 从视觉刺激中预测大脑活动是神经科学的一个关键挑战.
研究的目的:
- 介绍img2fmri,这是一个Python包,用于预测组级fMRI对单个图像的响应.
- 在未见的图像数据集上验证预测模型的准确性.
- 扩展模型以预测fMRI对连续视觉刺激的反应,例如动画电影.
主要方法:
- 利用人工深度神经网络 (DNN) 来进行图像对fMRI反应预测.
- 在视觉分类任务上训练了DNN.
- 通过预测对新奇图像和短片动画片的fMRI反应来验证模型.
- 分析了在事件边界周围预测的fMRI反应的时间点对时间点相似性.
主要成果:
- img2fmri模型准确地预测了对新型图像的fMRI反应.
- 对预测模型成功预测了fMRI对连续视觉刺激 (动画片) 的反应.
- 该模型在描述事件边界周围的真实fMRI响应动态方面表现优于基线,特别是在事件发生前和发生时.
结论:
- 该img2fmri包提供了一个新的工具,用于从视觉输入中预测大脑活动.
- 这项研究表明,视觉皮层处理自然刺激的时间动态可以通过刺激动态来解释.
- 这些发现表明DNN是理解大脑对复杂视觉信息的反应的强大工具.
