为混合EEG-fNIRS认知任务分类解双向时空融合网络

科学领域:

• 神经成像是一种神经成像.
• 认知神经科学 认知神经科学
• 生物医学工程 生物医学工程

背景情况:

• 多模式神经成像,集成脑电图 (EEG) 和功能近红外光谱 (fNIRS),对于大脑功能研究至关重要.
• 在EEG和fNIRS信号之间存在显著的时空异质性,这给有效的数据融合带来了挑战.
• 认知任务识别需要强大的方法来结合不同的神经数据流.

研究的目的:

• 介绍BiSTF-Net,一种用于增强认知任务识别的新型深度学习架构.
• 解决融合异质EEG和fNIRS信号的挑战,以提高分类准确度.
• 开发一个强大的和可解释的解决方案,用于多式联络神经成像数据分析.

主要方法:

• 实现了一个BiSTF-Net架构,具有分离的,双向的时空融合.
• 利用双向交叉模式指导 (Bi-CMG) 来实现EEG和fNIRS之间的空间特征的相互增强.
• 采用自适应时间对齐 (ATA) 进行fNIRS信号延迟的数据驱动对齐,以及对称交叉注意力融合 (SCAF) 进行深度特征融合.

主要成果:

• BiSTF-Net实现了高平均准确率:83.33%的心理算术 (MA),82.09%的运动图像 (MI) 和84.99%的词生成 (WG).
• 与认知任务分类中的现有技术相比,提出的方法显示出更高的性能.
• 融合策略导致了神经活动的模式不变和歧视性表示.

结论:

• BiSTF-Net为多式EEG-fNIRS认知任务分类提供了一种优越,稳健和可解释的方法.
• 该方法为未来的多式联运数据融合和临床应用研究提供了坚实的基础.
• 时空融合机制有效地解决了EEG和fNIRS信号的异质性.