通过使用可解释的3D卷积神经网络来解码微电皮质图信号,以预测手指的运动
Chao-Hung Kuo1, Guan-Tze Liu2, Chi-En Lee3
1Department of Neurosurgery, Neurological Institute, Taipei Veterans General Hospital, Taipei, Taiwan; School of Medicine, National Yang Ming Chiao Tung University, Taipei, Taiwan; Department of Biomedical Engineering, National Yang Ming Chiao Tung University, Taipei, Taiwan; Department of Neurological Surgery, University of Washington, Seattle, WA, USA; The Ph.D. Program for Neural Regenerative Medicine, College of Medical Science and Technology, Taipei Medical University, Taipei, Taiwan.
一个新的3D-CNN模型高精度地从电皮质谱 (ECoG) 数据中解读了手指的运动. 可解释的人工智能突出显示高马波段.
科学领域:
- 神经科学是一个神经科学.
- 人工智能的人工智能
- 生物医学工程 生物医学工程
背景情况:
- 从脑电图 (EEG) 和心电图 (ECoG) 中解码手指运动的传统方法依赖于从带径功率变化中手动提取特征.
- 现有的机器学习模型用于动作解码往往缺乏可解释性,充当"黑子".
研究的目的:
- 引入一种新的3D卷积神经网络 (3D-CNN),用于使用ECoG数据解码手指运动.
- 使用可解释AI (xAI) 技术,提高脑计算机接口 (BCI) 模型的可解释性.
- 为了确定特定的大脑信号特征在运动控制中的生理相关性.
主要方法:
- 开发了一种3D-CNN模型,该模型是根据患者的ECoG数据进行训练的,这些患者接受了清醒时的头骨切除术.
- 处理ECoG信号以提取多个频段的功率光谱密度,形成一个3D数据矩阵.
- 综合适应可解释AI (xAI) 技术,包括Grad-CAM和SHAP,用于模型解释.
主要成果:
- 3D-CNN模型在预测手指运动方面取得了很高的准确性,根平均平方误差 (RMSE) 范围为0.20-0.38.
- 可解释的AI确定高马 (HG) 波段对于运动预测至关重要.
- 通过xAI分析阐明了与明显的手指运动有关的特定皮质区域,证实了HG带在运动控制中的重要性.
结论:
- 3D-CNN模型与xAI相结合,显著提高了ECoG数据的指头运动解码精度.
- 这种方法为脑计算机接口 (BCI) 应用提供了高效和可解释的解决方案.
- 这项研究强化了高马 (HG) 波段在运动控制中的关键作用.
更多相关视频
11:25Simultaneous Scalp Electroencephalography EEG, Electromyography EMG, and Whole-body Segmental Inertial Recording for Multi-modal Neural Decoding
Published on: July 26, 2013
06:21Author Spotlight: Understanding Processing of Olfactory and Spatial Information by Brain with Real-Time Behavioral Analysis
Published on: September 20, 2024