从BOLD fMRI信号中优化基于AI的神经解码,用于分析人类视觉系统中的视觉和语义ROI

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 人工智能驱动的神经解码旨在使用生成模型从fMRI大脑活动中重建视觉感知.
• 目前的方法往往涉及复杂的,多阶段的过程,包括变异自编码器 (VAE) 和隐藏扩散模型 (LDM).
• 挑战包括fMRI数据的复杂性,噪声,以及优化重建阶段之间的相互作用.

研究的目的:

• 开发和评估一个优化的两阶段AI架构,用于从fMRI数据中对视觉刺激的神经解码.
• 通过实施非线性映射,优化潜在空间维度和分析阶段贡献来解决现有的两阶段模型中的差距.
• 研究不同兴趣的大脑区域 (ROI) 对重建质量的影响.

主要方法:

• 实现了非线性fMRI到VAE隐藏空间映射的封闭循环单元 (GRU) 架构.
• 优化了 VAE 隐藏空间维度.
• 对第一阶段重建的贡献进行了系统评估,并分析了ROI具体表现.
• 利用自然场景数据集 (NSD) 与八名受试者的fMRI数据.

主要成果:

• 拟议的架构实现了竞争性性能,第一阶段的复杂性减少了85%.
• 敏感性分析证实了第一阶段在维持结构相似性的关键作用.
• 排除早期的视觉区域并专注于语义ROI保留了语义,但减少了视觉连贯性.
• 观察到高的跨主体重复性 (92%用于视觉,98%用于语义指标).

结论:

• 这项研究在优化神经解码架构方面取得了重大进展,用于使用非线性模型进行刺激预测.
• 分析强调了这两个重建阶段之间的关键相互作用.
• 基于ROI的分析支持两阶段AI模型对大脑层次视觉处理的反映.