多模式电生理源成像与注意力神经网络基于EEG和MEG的深度融合

科学领域:

• 神经科学是一个神经科学.
• 生物医学工程 生物医学工程
• 信号处理 信号处理

背景情况:

• 电生理源成像 (ESI) 从EEG和MEG重建大脑电活动.
• 组合的EEG/MEG提供了补充数据 (辐射/触源) 以改善ESI.
• 传统的ESI方法依赖于神经生理学先验;深度学习提供数据驱动的方法.

研究的目的:

• 开发一个深度学习框架,用于融合EEG和MEG数据,以改进电生理源成像 (ESI).
• 在深度学习范式中,利用EEG和MEG模式中的互补信息.
• 为ESI解决深度学习中的原则多模式融合的挑战.

主要方法:

• 开发了一个使用注意力神经网络 (ANN) 的多模式深度融合 (MMDF) 框架,称为MMDF-ANN.
• 该MMDF-ANN框架包括四个阶段:特征提取,重量生成,深度特征融合和源代码映射.
• 将框架应用于合成和真实数据集进行验证.

主要成果:

• 与单一模式方法相比,EEG和MEG数据的融合显著提高了源定位的准确性.
• MMDF-ANN框架在重建具有扩展激活和低信号噪声比的源中表现出更好的稳定性.
• 实验结果验证了拟议的多模式深度聚变方法的有效性.

结论:

• 该MMDF-ANN框架有效地融合了互补的EEG和MEG信息,以获得更优质的电生理源成像.
• 这种数据驱动的多模式方法可以提高脑源重建的准确性和稳定性.
• 该研究强调了深度学习在整合多模式神经成像数据方面的潜力.