Cogformer:用于视觉解码和从fMRI重建的统一的多尺度大脑表示

科学领域:

• 神经科学和人工智能 人工智能
• 计算神经科学是一种神经科学.
• 机器学习用于大脑成像

背景情况:

• 深度生成模型 (DGM) 具有先进的fMRI解码,但面临着数据有限和低信号噪声比等挑战.
• 准确的脑活动表现对于理解神经过程至关重要.
• 现有的方法难以应对fMRI数据固有的复杂性和噪音.

研究的目的:

• 介绍Cogformer,一种用于增强fMRI解码的新型多尺度大脑表示方法.
• 解决当前的DGM在处理fMRI数据方面的局限性.
• 为了提高重建和解码大脑活动的准确性和概括性.

主要方法:

• 开发了Cogformer,利用自我注意力进行多尺度fMRI活动表示.
• 通过对结构和语义特征的交叉关注,集成了同步解码和动态解策略.
• 采用先前扩散模块来增强语义对齐在具有挑战性的任务,如图像标题和重建.

主要成果:

• 与变压器基线相比,Cogformer在类别分类,多标签分类和图像检索方面取得了卓越的性能.
• 与图像标题和重建中的最先进方法相比,已证明具有竞争力的性能.
• 在广泛的视觉解码任务中展示了强大的解码能力和泛化潜力.

结论:

• Cogformer提供了一种强大而统一的方法,用于从fMRI数据中进行多尺度大脑表示.
• 该方法有效地解决了fMRI中有限样本和低信号噪声比的挑战.
• Cogformer代表了解码不同视觉任务的大脑活动的重大进步.