MMPI Net:一种新的多模式模型,考虑了对图像引起的EEG解码的感知和想象之间的相似之处

科学领域:

• 神经科学是一个神经科学.
• 认知科学 认知科学
• 机器学习 机器学习

背景情况:

• 非侵入性脑电图 (EEG) 对于解码视觉感知和想象力等认知功能至关重要.
• 视觉感知和想象力共享神经电路,但研究往往孤立地研究它们.
• 多模式方法可以利用认知过程之间的共同点来获得更好的见解.

研究的目的:

• 提出一种新的多式联络模型,MMPI Net,用于共同解码视觉图像感知和想象力的EEG信号.
• 通过探索共享的神经模式来解决单个过程集中研究的局限性.
• 通过统一的方法提高认知解码的准确性和有效性.

主要方法:

• MMPI Net集成了四个组件:原始特征提取 (PFE),交叉语义特征融合 (CSFF),联合语义特征解码器 (JSFD) 和语义分类 (SC).
• 一个改进的通道注意力机制与并行卷积分支和多种分支区块增强了PFE.
• 在CSFF中,交叉注意力融合捕获了多式联运信息,而在JSFD中,Kolmogorov-Arnold网络提高了分类.

主要成果:

• 在两个公共数据集上,MMPI Net 显示了显著的性能改进.
• 与单个过程模型相比,平均准确度提高了14.22%和106.1%.
• 该模型有效地解码了联合视觉感知和想象信号.

结论:

• MMPI Net提供了一个强大的多式联络框架来解码复杂的认知功能.
• 对视觉感知和想象力等相关认知过程的联合分析提高了解码精度.
• 这种方法突显了多式EEG分析在认知神经科学中的潜力.