多模式MBC-ATT:用于认知状态解码的EEG-fNIRS的跨模式注意力融合

科学领域:

• 神经科学是一个神经科学.
• 生物医学工程 生物医学工程
• 人工智能的人工智能

背景情况:

• 脑电脑接口 (BCI) 技术正在迅速发展.
• 整合诸如脑电图 (EEG) 和功能近红外光谱 (fNIRS) 等多式生物信号对于提高BCI分类准确性至关重要.
• 当前的方法往往在复杂的认知任务中不充分利用交叉模式的相关性.

研究的目的:

• 开发一个先进的BCI模型用于认知任务分类.
• 通过解决现有方法的局限性,有效地融合多式联网EEG和fNIRS信号.
• 通过改进信号集成,提高BCI应用中的分类准确性.

主要方法:

• 提出了一个带有注意力的多分支卷积神经网络 (MBC-ATT) 模型.
• 使用独立的分支来单独处理EEG和fNIRS信号.
• 实施了一种跨模式的注意力机制,以增强多模式特征融合和信号歧视.

主要成果:

• 与n-back和WG数据集的传统方法相比,MBC-ATT模型显示出更高的分类性能.
• 交叉模式的注意力机制有效地改善了模型对相关信号的关注.
• 验证了MBC-ATT在提高多式联运BCI系统准确性的有效性.

结论:

• 拟议的MBC-ATT模型为用于认知任务分类的多式联络BCI提供了显著的进步.
• 这些发现为利用跨模式相关性来提高BCI性能提供了新的见解.
• MBC-ATT模型显示了各种BCI应用的巨大潜力.