EF-Net:通过通过CNN分析多模式EEG-fNIRS来识别心理状态

科学领域:

• 神经科学和人工智能 人工智能
• 大脑与计算机的接口
• 信号处理 信号处理

背景情况:

• 使用脑电图 (EEG) 和功能近红外光谱 (fNIRS) 的非侵入性脑信号分析对于理解心理状态和神经疾病至关重要.
• EEG提供高时间分辨率,而fNIRS提供更好的空间信息.
• 用于EEG-fNIRS分析的多式深度学习正在出现,但独立于主体的评估有限.

研究的目的:

• 推出EF-Net,一种基于CNN的多式联络深度学习模型,用于分析EEG和fNIRS信号.
• 评估EF-Net在精神状态识别的独立主体,主体依赖和半主体依赖设置中的表现.
• 为了证明EF-Net在传统和深度学习基线方法上的优势.

主要方法:

• 开发了EF-Net,一种新的卷积神经网络 (CNN) 架构,集成EEG和fNIRS数据.
• 在EEG-fNIRS词生成数据集上对该模型进行了评估,以用于精神状态识别.
• 针对五种基线方法 (三种传统的ML,两种DL) 进行了对比分析,涉及不同的受试者分组设置.

主要成果:

• 与所有基线模型相比,EF-Net在准确性和F1得分方面取得了卓越的表现.
• 该模型在依赖主体 (99.36% F1) 和半依赖主体 (98.31% F1) 设置中显示出强的结果.
• 值得注意的是,EF-Net在具有挑战性的独立学科环境中获得了65.05%的F1得分,比最好的基准水平高出2.13%.

结论:

• EF-Net有效地从结合的EEG和fNIRS信号中学习和解释精神状态.
• 该模型表现出强大的概括能力,在未见的主题上表现良好.
• 这项工作推进了多式联络脑信号分析,特别是在现实世界的场景中独立于主体的应用.