合成图像,将神经网络映射到人类大脑

科学领域:

• 计算神经科学是一种计算神经科学.
• 人工智能的人工智能是人工智能.
• 神经成像是一种神经成像.

背景情况:

• 计算模型,特别是卷积神经网络 (CNN),与视觉系统中的大脑表现有相似之处.
• 自然图像在CNN层之间产生高度相关的表示,阻碍了大脑区域和特定模型层之间的选择性映射.
• 了解视觉处理的特定算法阶段如何在大脑中实例化,需要在模型层和皮层区域之间进行更有选择性的映射.

研究的目的:

• 开发图像合成的生成框架,使得计算模型的单个层和特定的大脑区域之间的更有选择性的映射成为可能.
• 创建一种方法,在模型层中对表示相似度矩阵进行直角化,从而确定每个层的独特计算作用.
• 测试该框架在将模型层映射到人类视觉皮层的有效性,使用功能磁共振成像 (fMRI).

主要方法:

• 开发了图像合成的生成框架,以最大限度地减少跨模型层的表示相似性,旨在实现直角激活模式.
• 通过Inception-V1/GoogLeNet模型合成了16个人工图像.
• 从观看这些合成图像的参与者收集fMRI数据,并使用搜索灯分析计算图像对图像相似度矩阵.

主要成果:

• 与自然图像相比,合成图像允许对大多数CNN层进行更有选择性的映射,以限制皮质区域.
• 开发的方法为每个层的计算作用提供了一个独特的指纹.
• 开发了一种替代的残留方法,以实现自然图像数据集的可比性能,利用合成方法作为基准.

结论:

• 新型图像合成框架有效地将计算模型层映射到特定的大脑区域,提供对视觉处理的见解.
• 这种方法提高了将人工神经网络中的算法阶段与大脑中的神经计算联系起来的能力.
• 这些方法可以扩展到各种神经网络架构和刺激类型,用于神经科学和人工智能研究中的更广泛应用.