针对fMRI和EEG融合进行多模式跨领域自主监督预培训
Xinxu Wei1, Kanhao Zhao2, Yong Jiao2
1Department of Electrical and Computer Engineering, Lehigh University, Bethlehem, PA 18015, USA.
概括
这项研究引入了一种新的多模式跨领域自主监督预训模型 (MCSP),以整合功能磁共振成像 (fMRI) 和电脑电图 (EEG) 数据. 该MCSP模型有效地结合了跨领域和模式的信息,以改善大脑疾病检测.
科学领域:
- 神经科学是一个神经科学.
- 医疗成像医学成像
- 人工智能的人工智能
背景情况:
- 功能性磁共振成像 (fMRI) 和电脑电图 (EEG) 检测出大脑异常.
- 当前的方法往往分析单一的模式,缺少补充信息,这对于理解疾病病理学至关重要.
研究的目的:
- 开发一种新的多模式跨领域自主监督预培训模型 (MCSP).
- 为了加强大脑疾病分析,跨空间,时间和光谱领域的多模态神经成像数据进行协同.
主要方法:
- 提出了利用自主监督学习的MCSP模型.
- 实现跨域自主监督损失,具有域特定的增强和对比损失.
- 引入了fMRI和EEG数据融合和特征融合的交叉模式自我监督损失.
主要成果:
- 构建了一个大规模的预训练数据集,并预训练了MCSP模型.
- 在多个分类任务上展示了MCSP模型的卓越性能和通用性.
- 成功地整合了fMRI和EEG的跨领域特征.
结论:
- 在融合fMRI和EEG数据方面,MCSP模型代表了重大进步.
- 这种跨领域特征的新整合增强了神经成像研究,特别是在精神障碍方面.
- 自主监督的方法有效地利用多式联络神经成像数据来提高诊断能力.
