ADT网络:一种新的非线性方法,用于从EEG信号中解码语音封面

科学领域:

• 神经科学是一个神经科学.
• 信号处理 信号处理
• 机器学习 机器学习

背景情况:

• 对听力处理的客观评估对于诊断听力障碍至关重要.
• 目前用于从脑电图 (EEG) 信号中解码语音信封的方法缺乏高精度和可解释性.
• 开发先进的计算模型可以增强我们对神经对语音反应的理解.

研究的目的:

• 提出一种新的深度学习模型,即听觉解码变压器 (ADT) 网络,用于从EEG信号中准确和可解释的语音外重建.
• 根据现有的非线性模型,评估ADT网络的性能.
• 通过ADT网络的解释性特征,分析语音信封跟踪的基础神经机制.

主要方法:

• 使用深度学习方法,结合时空卷积来提取特征,并使用变压器解码器来解码语音信封.
• 实施反因果掩盖,以确保模型仅考虑当前和未来的EEG特征,模仿自然的语音-EEG关系.
• 视觉化时空卷积权重作为时间域过器和大脑拓,以及对时空卷积内核的废除研究.

主要成果:

• 获得了0.168 (SparrKULee) 和0.167 (DTU) 的竞争平均重建得分,与其他非线性模型相比.
• 确定低 (0.5-8 Hz) 和高频 (14-32 Hz) EEG信号对于语音外重建至关重要.
• 证明活跃的大脑区域主要是双边的,位于听觉皮层内,与先前的研究一致.
• 注意分数可视化进一步证实了听觉处理研究中的现有发现.

结论:

• 听觉解码变压器 (ADT) 网络提供了一种平衡的方法来实现高性能和可解释的语音封面解码来自EEG.
• 该模型的可解释性为神经语音信封跟踪机制提供了洞察力.
• ADT网络为客观的听觉处理评估和听力损失诊断的潜在进展提供了一个有希望的工具.