GCANet:增强基于EEG的听觉注意力解码与时间频率GCN和交叉注意力机制

科学领域:

• 神经科学是一个神经科学.
• 信号处理 信号处理
• 机器学习 机器学习

背景情况:

• 选择性听觉注意力,或尾酒派对效应,可以在噪音中专注于目标扬声器.
• 听觉注意力解码 (AAD) 旨在通过脑电图 (EEG) 信号识别听到的扬声器.
• 现有的AAD方法往往忽略了EEG数据固有的图形结构.

研究的目的:

• 提出GCANet,一个端到端的模型,利用图形卷积网络和交叉注意力来改进AAD.
• 为了捕捉功能性大脑连接,并增强EEG-音频功能相互作用.
• 评估GCANet在公共数据集上的性能,以进行跨试验和跨主题解码.

主要方法:

• 开发了GCANet,集成了一个时间频率图卷积网络 (TFGCN) 用于大脑连接分析.
• 整合了交叉注意力机制,以动态融合EEG和音频功能.
• 在KUL,DTU和AVGC数据集上使用1秒的决策窗口验证模型.

主要成果:

• 在交叉试验设置中,GCANet实现了高解码精度:92.2% (KUL),83.2% (DTU) 和62.6% (AVGC).
• 跨学科的准确率达到了75.1% (KUL),57.1% (DTU) 和55.6% (AVGC).
• 分析揭示了潜在的与视线相关的混,并突出了EEG-音频相互作用中的额头和部区域.

结论:

• 通过建模大脑连接和跨模式相互作用,GCANet显著提高了听觉注意力解码的准确性.
• 研究结果表明,与视觉线索相关的AAD可能存在混,并确定涉及的关键大脑区域.
• 这项研究提供了对交叉模式EEG-音频相互作用和未来AAD研究的宝贵见解.