一个基于教师助理的多层次知识蒸框架,为运动图像EEG解码提供动态反

科学领域:

• 神经科学是一个神经科学.
• 机器学习 机器学习
• 生物医学工程 生物医学工程

背景情况:

• 深度学习模型显示了基于运动图像的脑电图 (MI-EEG) 在非侵入性脑电脑接口 (BCI) 中解码的潜力.
• 深度学习的计算需求阻碍了实际的BCI部署,导致对模型压缩的知识蒸 (KD) 的探索.
• 现有的KD方法在高压缩下有效地传输多层MI-EEG信号知识时面临挑战.

研究的目的:

• 提出一种新的知识蒸框架,即机器图像知识蒸 (MIKD),用于压缩MI分类任务中的深度学习模型.
• 增强从复杂的教师模型到更小的学生模型的多层次知识的转移,用于MI-EEG解码.
• 为了保持高分类性能,尽管显著的模型压缩.

主要方法:

• 开发MIKD框架,包括一个多层次的教师助理知识蒸 (ML-TAKD) 模块.
• ML-TAKD模块旨在从MI-EEG信号中提取和传输本地表示和全球依赖.
• 集成动态反模块,用于基于学生学习进度的适应性教学策略.

主要成果:

• 在三个公共EEG数据集中,MIKD框架实现了最先进的性能.
• 与基线学生模型相比,在各自的数据集上观察到显著的准确性改进:6.61%,1.91%和3.29%.
• 实现了近90%的实质性模型尺寸缩小.

结论:

• MIKD框架提供了一个有效的解决方案,用于压缩MI-EEG解码的深度学习模型.
• 在传输复杂MI-EEG信号知识方面,MIKD成功地解决了香草KD方法的局限性.
• 提出的方法可以在BCI应用中实际部署高效和高性能深度学习模型.