通过BOLD时刻视频fMRI数据集和元数据建模短视觉事件

科学领域:

• 神经科学是一个神经科学.
• 认知科学 认知科学
• 计算机视觉 计算机视觉

背景情况:

• 了解动态视觉感知的神经基础对于解释复杂的视觉场景至关重要.
• 现有的数据集往往缺乏研究大脑对自然视觉事件的反应所需的丰富性和时间分辨率.

研究的目的:

• 介绍BOLD Moments数据集 (BMD),这是一个全面的fMRI数据集,用于研究人类动态视觉感知.
• 研究大脑如何表示视觉事件,它们的描述和记忆能力.
• 探索神经处理层次结构和深度神经网络之间的关系.

主要方法:

• 收集了来自十个人类受试者的全脑fMRI数据,这些受试者观看了1000多个简短的自然视频片段.
• 使用了大量的视频元数据,包括描述和记忆度得分.
• 分析了与视频内容和深度神经网络处理有关的神经反应.

主要成果:

• BMD捕捉了大脑对视觉事件的文字和句子级别描述的表现.
• 视频记忆能力的相关性被确定,延伸到头顶皮层.
• 在皮层区域和深度神经网络之间发现了层次处理匹配.
• 数据集成功地以第二分辨率捕捉视觉事件的时间动态.

结论:

• 大胆时刻数据集 (BMD) 为推进视觉事件感知神经基础研究提供了宝贵的资源.
• 该数据集有助于研究与视觉刺激相关的语义和情节性记忆形成.
• BMD使人类大脑功能与人工智能视觉模型之间的新鲜比较成为可能.