SCDM:在MI-BCI中进行EEG-to-fNIRS跨模式生成的统一表示学习

科学领域:

• 神经科学是一个神经科学.
• 生物医学工程 生物医学工程
• 信号处理 信号处理

背景情况:

• 混合脑电脑接口 (BCI) 结合了脑电图 (EEG) 和功能近红外光谱 (fNIRS) 提供了优于单模 BCI 的性能.
• 由于传感器放置的限制,同时记录EEG和fNIRS在技术上具有挑战性,这阻碍了混合MI-BCI的开发.

研究的目的:

• 提出一个新的框架,用于从EEG到fNIRS的跨模态信号生成.
• 解决用于运动成像BCI (MI-BCI) 的高质量混合EEG-fNIRS信号获取的局限性.

主要方法:

• 空间时间控制扩散模型 (SCDM) 的开发,用于端到端的跨模态发电.
• 使用空间交叉模式生成 (SCG) 和多尺度时间表示 (MTR) 模块来学习统一的信号表示.
• 利用EEG和fNIRS信号之间的空间关系来实现精确的fNIRS信号合成.

主要成果:

• 生成的合成fNIRS信号与真实的fNIRS信号具有很高的相似性.
• 使用EEG和合成fNIRS的分类性能与使用EEG和真实fNIRS的分类性能相当或优于使用EEG.
• 合成信号保留了时空特征和与EEG信号的空间关系.

结论:

• 该SCDM框架使得从EEG到fNIRS的有效的跨模式发电成为可能.
• 这种方法为在MI-BCI系统中获得高质量的混合EEG-fNIRS信号提供了有希望的解决方案.
• 该研究提出了第一个端到端的框架,用于EEG-to-fNIRS跨模式发电.