将多模式即时学习纳入基础模型可以提高视觉fMRI对动态自然刺激反应的可预测性
Panpan Chen1, Chi Zhang1, Bao Li1
1Henan Key Laboratory of Imaging and Intelligent Processing, Information Engineering University, Zhengzhou 450000, People's Republic of China.
Journal of neural engineering
|November 5, 2025
概括
这项研究引入了一种用于神经编码的新型多模式提示学习模型,改进了对动态刺激的大脑反应预测. 该方法增强了基础模型,以便更好地进行大脑对应和理解复杂信息.
科学领域:
- 神经科学是一个神经科学.
- 人工智能的人工智能
- 计算机视觉 计算机视觉
背景情况:
- 深度神经网络 (DNN) 用于神经编码,但由于特定任务的设计,它们往往显示出低于最佳的大脑对应.
- 现有的模型主要集中在视觉处理上,忽视了大脑的多模式整合能力.
- 对神经编码的端到端优化面临诸如训练困难等挑战.
研究的目的:
- 提出一种多模式的快速学习 (PL) 模型,用于增强动态自然刺激的神经编码.
- 将预训练的基础模型适应神经编码任务,使用定制的文本和视觉提示.
- 通过整合多模特特征来改善对voxel智能大脑反应的预测.
主要方法:
- 利用预先训练的基础模型 (CLIP4clip,videoMAEv2) 与骨干结用于特征提取.
- 使用多模式提示 (文本和视觉) 来微调神经编码的基础模型.
- 融合多模式特征并映射它们来预测大脑反应.
主要成果:
- 与现有的微调方法相比,拟议的多式联运PL模型表现出优越的性能.
- 在两个功能磁共振成像 (fMRI) 视频数据集上的实验验验证了该模型的有效性.
- 该方法实现了更好的大脑对应性和动态刺激的预测准确性.
结论:
- 基于提示符的微调策略显示了桥梁基础模型和神经编码的巨大潜力.
- 开发的模型通过整合多模式信息,为神经编码提供了更全面的方法.
- 这项工作为更复杂的脑计算机接口和神经科学研究铺平了道路.
