变压器3:一个纯变压器框架,用于基于fMRI的人类大脑功能的表现.

科学领域:

• 神经成像是一种神经成像.
• 机器学习 机器学习
• 计算神经科学是一种神经科学.

背景情况:

• 有效的表示学习对于基于神经图像的个性化预测至关重要.
• 现有的功能性MRI (fMRI) 研究通常只分析一种或两种类型的相互依赖关系 (样本,空间,时间),限制了信息提取.
• 需要一种综合的方法来利用所有三个相互依赖关系来实现强大的大脑功能表征.

研究的目的:

• 开发一个新的框架,Transformer3,充分利用fMRI数据中的样本智能,空间和时间相互依赖.
• 为了提高基于大脑功能表示的个性化预测的准确性.
• 为在多变量时间序列数据上进行表示学习提供一个多功能工具.

主要方法:

• 提出了一个纯粹的基于变压器的框架,命名为Transformer3.
• 集成了三种专门的变压器模块:批量变压器 (样品智能),区域变压器 (空间) 和时间变压器 (时间).
• 利用变压器固有的能力,在输入数据中捕捉复杂的相互依赖.

主要成果:

• 使用两个公开的fMRI数据集,证明了Transformer3对年龄,智商和性别预测任务的有效性.
• 验证了框架能够捕捉fMRI数据中的全面相互依赖性的能力.
• 展示了Transformer3在各种多变量时间序列表示学习应用中的潜力.

结论:

• 转换器3通过利用所有三种类型的相互依赖,有效地提取人类大脑功能的表示.
• 该框架的无假设性质允许广泛适用于多变量时间序列数据.
• 纯变压器架构使预测模型驱动因素的解释性更容易.