IIMCNet:用于混合EEG-fNIRS脑电脑接口的内部和间模式对应网络.

科学领域:

• 神经科学是一个神经科学.
• 生物医学工程 生物医学工程
• 信号处理 信号处理

背景情况:

• 混合脑计算机接口 (BCI) 集成多模式信号,以提高准确性和可靠性.
• 电脑电图 (EEG) 和功能近红外光谱 (fNIRS) 是便携式的,并且对于真实世界的BCI来说具有成本效益.
• 当前的BCI方法往往忽略了关节内和间模式特征提取,从而限制了性能.

研究的目的:

• 开发一个新的网络,IIMCNet,以便在混合BCI中有效地共同提取特征.
• 整合来自EEG和fNIRS信号的固有单模式特征和交叉模式特征.
• 通过全面的功能融合,提高BCI系统的稳定性和准确性.

主要方法:

• 引入了混合BCI的模式内和模式间对应网络 (IIMCNet).
• 采用晚期融合策略 (Intra-net) 进行单模特征提取 (EEG,HbR,HbO).
• 利用早期的融合策略 (Inter-net) 与基于扩展卷积的C-Nets进行跨模式特征提取 (EEG-HbR,EEG-HbO,HbR-HbO).
• 在一个深度监督模块中整合了模式内,模式间和连接混合的功能.

主要成果:

• 与仅使用模式内或模式间相关的方法相比,IIMCNet表现优越.
• 拟议的IIMCNet在运动成像任务中显著超过了最先进的方法.
• IIMCNet还在脑力算术任务中取得了卓越的成绩,验证了其有效性.

结论:

• 在优化混合BCI性能方面,对intra和intermodality特征的联合提取至关重要.
• IIMCNet有效地捕获来自EEG和fNIRS信号的互补信息.
• IIMCNet方法为推进现实世界的BCI应用提供了一个有希望的方向.