通过深度学习对基于混合EEG的多式联机人机接口进行审查:应用,进步和挑战

科学领域:

• 神经科学和计算机科学
• 专注于大脑-计算机接口和人工智能的交叉点.

背景情况:

• 人与计算机交互 (HCI) 越来越多地使用多式联网系统来提高性能.
• 基于脑电图 (EEG) 的系统与深度学习相结合,有望实现直观的人机交互.
• 需要进行系统审查,以整合基于混合EEG的多式联络HCI系统的发现.

研究的目的:

• 系统地审查基于混合EEG的多式联络HCI系统中的深度学习应用.
• 分析生物信号组合,神经网络架构,融合策略,性能和应用.
• 为了确定当前的挑战和未来的方向在该领域.

主要方法:

• 在2016-2024年期间对124项研究进行了系统审查.
• 使用关键词进行数据库搜索:"深度学习"和"EEG"和"fNIRS"或"NIRS"或"MEG"或"fMRI"或"EOG"或"EMG"或"ECG"或"PPG"或"GSR").
• 分析生物信号类型,神经网络架构,融合策略,系统性能和应用.

主要成果:

• 电眼镜学 (EOG),电肌学 (EMG) 和功能近红外光谱学 (fNIRS) 是EEG的常见补充信号.
• 卷积神经网络 (CNN) 广泛用于特征提取;早期和中间融合策略普遍存在.
• 在诸如睡眠阶段分类,情绪识别和精神状态解码等应用程序中观察到显著的性能改善.

结论:

• 基于EEG的多式联络HCI系统显示了改善人机交互的巨大潜力.
• 关键的挑战包括开发实时在线系统,改善信号同步和增加数据可用性.
• 可解释性AI (XAI),便携式系统和数据增强方面的进步对于未来的发展至关重要.