ADFCNN:以注意力为基础的双尺度融合卷积神经网络用于运动图像的大脑与计算机接口

科学领域:

• 生物医学工程 生物医学工程
• 神经科学是一个神经科学.
• 机器学习 机器学习

背景情况:

• 卷积神经网络 (CNN) 对于基于运动图像 (MI) 的脑计算机接口 (BCI) 有效.
• 单级CNN在从EEG中提取全面的光谱信息方面遇到了困难.
• 现有的多尺度CNN往往无法有效地融合不同尺度的特征.

研究的目的:

• 为增强MI-BCI性能提出基于注意力的双尺度融合卷积神经网络 (ADFCNN).
• 在多个尺度上共同提取和融合EEG光谱和空间信息.
• 为了利用自我注意力来改善功能融合.

主要方法:

• 开发了一个ADFCNN,在双重尺度上整合时间和空间的卷积.
• 采用两种不同的内核大小的时间卷曲来捕捉μ和β节奏.
• 利用基于内部相似性的特征融合的自我注意力机制.

主要成果:

• 在BCI竞争IV数据集2a,2b和OpenBMI上取得了卓越的主体特定运动图像识别性能.
• 在跨会期平均分类准确度方面显著改善 (例如,在BCI-IV2a上9.14%).
• 在会话内的平均分类准确度显著改善 (例如,在BCI-IV2a上10.89%).

结论:

• 拟议的ADFCNN有效地提取和融合多层次的光谱和空间EEG特征.
• 自我注意力机制增强了功能融合,导致MI-BCI中最先进的性能.
• 废除研究和可视化证实了双尺度CNN和注意力模块的有效性.