从fMRI信号进行自然场景的重建,使用生成性隐性扩散

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 计算机视觉 计算机视觉

背景情况:

• 神经解码旨在从大脑活动中重建感知到的图像,特别是fMRI信号.
• 之前的方法难以共同重建复杂场景的低级 (形状,纹理) 和高级 (语义) 视觉属性.
• 生成型人工智能,特别是潜伏扩散模型,为大脑解码中高复杂度图像生成提供了新的潜力.

研究的目的:

• 开发一个先进的框架,通过利用生成AI来从fMRI信号中重建自然场景.
• 整合低级和高级视觉特征重建,以实现更全面的图像解码.
• 评估拟议框架与现有方法的性能及其在神经科学中的实用性.

主要方法:

• 开发了一个两阶段的重建框架",大脑扩散器".
• 阶段1:使用非常深变量自编码器 (VDVAE) 从fMRI信号中重建具有低级别属性和布局的图像.
• 第二阶段:采用潜伏扩散模型 (多功能扩散) 进行图像对图像生成,条件是多式联络 (文本和视觉) 功能.

主要成果:

• 脑扩散器框架在自然景观数据集基准上明显优于以前的模型,无论是在质量上还是数量上.
• 该模型成功地从合成fMRI模式中生成引人注目的"ROI-最佳"场景,与神经科学原理保持一致.
• 通过整合低级和高级视觉信息,证明了复杂场景属性的有效重建.

结论:

• 脑扩散器方法代表了神经解码在自然图像重建中的重大进步.
• 这种方法有效地结合了VDVAE和潜在扩散模型,以增强大脑解码能力.
• 该框架有可能用于脑计算机接口和基础神经科学研究.