CATD:用于EEG-to-fMRI跨模式生成的统一表示学习.

科学领域:

• 神经成像是一种神经成像.
• 计算神经科学是一种神经科学.
• 生物医学工程 生物医学工程

背景情况:

• 多模式神经成像对于理解大脑功能和病理学至关重要,但由于某些技术的高成本和有限可用性,它面临着挑战.
• 整合各种成像模式,如fMRI和EEG提供了更全面的视图,克服了个人的局限性.

研究的目的:

• 开发一种用于神经成像数据的交叉模式合成的新框架,特别是从更容易访问的EEG信号生成fMRI-BOLD信号.
• 为了提高神经成像分析的时间分辨率,以捕捉动态大脑活动.

主要方法:

• 提出了条件对齐的时间扩散 (CATD) 框架,用于端到端的交叉模式合成.
• 引入了条件对齐块 (CAB),以将异质的神经图像对齐到一个统一的潜在空间中.
• 集成了动态时频分割 (DTFS) 模块,以利用EEG来改善BOLD信号的时间分辨率.

主要成果:

• 在大脑活动状态预测准确度方面取得了9.13%的改善 (达到69.8%).
• 对大脑疾病的诊断准确度提高了4.10% (达到99.55%).
• 成功识别了异常的大脑区域,并改善了BOLD信号的时间分辨率.

结论:

• 通过将数据统一到一个潜在的表示空间中,CATD框架为跨模态神经图像合成建立了新的范式.
• 证明了医疗应用的巨大潜力,包括改善对帕金森氏症等疾病的预测和识别异常大脑区域.