基于注意力的卷积神经网络,具有用于运动图像EEG解码的多模式时间信息融合

科学领域:

• 神经科学是一个神经科学.
• 机器学习 机器学习
• 生物医学工程 生物医学工程

背景情况:

• 卷积神经网络 (CNN) 在基于运动图像 (MI) 的脑电脑接口 (BCI) 中常用于解码电脑图像 (EEG) 信号.
• 然而,CNN具有有限的感知场,阻碍其捕捉长期依赖和多模时态信息的能力,这对于准确的EEG解码至关重要.

研究的目的:

• 提出一个新的深度学习网络,将CNN与自我注意机制集成在一起.
• 为了有效地捕获多模式时间信息和EEG信号的全球依赖性,以提高MI-BCI性能.

主要方法:

• 开发了一个新的深度学习网络,将CNN与自我注意机制结合起来.
• 该网络提取多模式的时间信息 (平均值和差异),并使用共享的自我注意模块来捕捉全球依赖.
• 卷积编码器融合了这些特征,信号细分和重组方法提高了概括性.

主要成果:

• 拟议的方法在BCI竞争IV-2a数据集上实现了4类平均准确率85.03%.
• 在BCI竞争IV-2a和IV-2b数据集上的实验结果表明,与最先进的方法相比,性能优越.
• 这种方法突出了基于注意力的深度学习网络中多模式时间信息融合的有效性.

结论:

• 这种新型网络通过整合多模式时间信息和全球依赖关系,有效地解码MI-EEG信号.
• 这项工作为MI-EEG解码提供了新的视角,强调了基于注意力的深度学习架构的好处.
• 拟议的方法显示了促进大脑与计算机接口技术的重大潜力.