通过CNN提取的特征会对未见的图像产生合成fMRI反应
Parsa Delavari1, Leonid Sigal2, Ipek Oruc1
1Neuroscience, UBC, Vancouver, BC, Canada; Department of Ophthalmology and Visual Sciences, UBC, Vancouver, BC, Canada.
Vision research
|June 22, 2025
概括
卷积神经网络 (CNN) 产生准确的合成fMRI数据,超过真实大脑对噪音的反应,并使未见到的图像和类别能够更好地被分类.
科学领域:
- 神经科学是一个神经科学.
- 计算机视觉 计算机视觉
- 机器学习 机器学习
背景情况:
- 卷积神经网络 (CNN) 是受到生物视觉的启发,并用于研究人类视觉.
- CNN层活动与视觉通路区域相关,但由于噪音,预测fMRI响应与CNN特征具有挑战性.
- 对未见图像的CNN衍生合成fMRI数据的使用仍然未被探索.
研究的目的:
- 评估CNN特征在生成合成fMRI反应中的准确性.
- 评估合成fMRI数据对分类未见图像和类别的有用性.
- 调查合成fMRI数据是否超过真实数据质量,特别是在噪音条件下.
主要方法:
- 使用了BOLD5000数据集和AlexNet架构 (在ImageNet上进行预训练).
- 从CNN中提取特征,以生成对图像的合成fMRI反应.
- 训练了一个使用合成fMRI数据的解码器来对新型图像和对象类别进行真实fMRI数据的分类.
主要成果:
- 美国有线电视新闻网 (CNN) 提供精确生成的合成fMRI反应,显示与真实数据重复的相关性比真实数据本身更高.
- 与真实数据相比,合成fMRI数据在分类看不见的图像和对象类别方面表现出卓越的性能.
- 合成数据的优势尤其明显,因为它能够创建更大的数据集.
结论:
- 美国有线电视新闻网 (CNN) 的功能可以产生高质量的合成fMRI对图像的反应.
- 合成的fMRI数据与真实数据具有很强的相似性,并且在经验应用中具有实际实用性.
- 这种方法为增强fMRI数据分析和克服噪声限制提供了一个有前途的方法.
