时间注意力融合网络具有自定义损失功能,用于EEG-fNIRS分类
Chayut Bunterngchit1,2, Jiaxing Wang1, Jianqiang Su1,2
1State Key Laboratory of Multimodal Artificial Intelligence Systems, Institute of Automation, Chinese Academy of Sciences, Beijing 100190, People's Republic of China.
Journal of neural engineering
|November 4, 2024
概括
一个新的时间注意力融合网络 (TAFN) 使用脑电图 (EEG) 和功能近红外光谱 (fNIRS) 准确检测大脑活动. 这种先进的方法在认知任务中达到99%以上的准确性,在运动图像中达到97%,有助于检测神经系统疾病.
科学领域:
- 神经科学和生物医学工程
- 大脑与计算机的接口
- 神经系统疾病 诊断 诊断 神经系统疾病 诊断
背景情况:
- 准确检测大脑活动对于理解和管理神经系统疾病至关重要.
- 结合脑电图 (EEG) 和功能近红外光谱 (fNIRS) 提供了相对于单个模式的协同优势.
- 现有的多式联动EEG-fNIRS方法面临着阶级不平衡和学科间变异性方面的挑战.
研究的目的:
- 开发一种新的时间注意力融合网络 (TAFN),用于增强多式模式大脑活动分析.
- 使用自定义损失函数来解决EEG-fNIRS数据中的类不平衡和类间变异.
- 提高检测认知和运动意图以及微妙的神经模式的准确性.
主要方法:
- 提出了一个时间注意力融合网络 (TAFN),将注意力机制与LSTM和时间卷积层集成在一起.
- 开发了一个自定义的损失函数,包含类权重和不对称的术语,以处理数据不平衡.
- 使用EEG-fNIRS数据对认知和运动图像任务的跨学科分类进行TAFN性能评估.
主要成果:
- TAFN实现了异常的跨主题准确性: >99%的认知任务和>97%的运动图像 (MI).
- 该模型在识别与相关的微妙差异方面表现出有效性.
- 在MI任务中的头皮拓分析提供了关于发病检测能力的见解.
结论:
- 在高精度的大脑活动检测方面,TAFN模型显著优于传统方法.
- 这种技术对需要识别微妙的神经模式差异的应用有希望,例如和发作检测.
- 开发的TAFN为推进神经疾病的理解和诊断提供了一个强大的工具.


