一个基于CNN的双模深度学习网络,用于精细运动图像
Chenyao Wu1,2, Yu Wang2,3, Shuang Qiu1,2
1Laboratory of Brain Atlas and Brain-Inspired Intelligence, Key Laboratory of Brain Cognition and Brain-inspired Intelligence Technology, Institute of Automation, Chinese Academy of Sciences, Beijing, 100190 China.
Cognitive neurodynamics
|December 23, 2024
概括
这项研究引入了一种新的双模融合网络,结合了脑电图 (EEG) 和功能近红外光谱 (fNIRS) 来增强脑电脑接口 (BCI) 控制,使用微型运动图像 (MI). 该方法显著提高了复杂运动的解码精度.
科学领域:
- 神经科学是一个神经科学.
- 生物医学工程 生物医学工程
- 信号处理 信号处理
背景情况:
- 运动图像 (MI) 对脑计算机接口 (BCI) 至关重要,但传统范式存在局限性.
- 精细的MI,专注于关节运动,提供更直观的控制,但面临解码挑战.
- 电脑电图 (EEG) 和功能近红外光谱 (fNIRS) 是BCI系统的便携式传感方式.
研究的目的:
- 设计和评估用于控制机械设备的精细MI范式.
- 调查结合EEG和fNIRS的可行性,以提高BCI性能.
- 开发和验证双模融合网络,以改进细MI解码.
主要方法:
- 实施了四类精细MI范式 (手,手腕,肩膀,休息).
- 在MI任务中从12名受试者收集了EEG和fNIRS数据.
- 建议使用卷积神经网络 (CNN) 的双模融合网络进行特征提取和分类.
主要成果:
- 在四个MI类中观察到明显的EEG事件相关脱同步 (ERD) 和fNIRS激活模式.
- 拟议的双模融合网络显著优于单模方法.
- 实现了58.96%的四类精度,证明了优越的解码性能.
结论:
- EEG和fNIRS双模BCI系统可用于精细MI任务.
- 拟议的双模融合方法有效地提高了解码精度.
- 这项研究为推进基于MI的BCI系统提供了有价值的技术.
