通过演讲深度神经网络预测EEG对听话的反应

科学领域:

• 神经科学是一个神经科学.
• 听觉神经科学 听觉神经科学
• 信号处理 信号处理

背景情况:

• 在多人说话的环境中,听觉注意力是具有挑战性的,特别是对于那些听力障碍的人来说.
• 使用脑电图 (EEG) 的神经跟踪 (NT) 通过选择性跟踪听话来反映听觉注意力.
• 目前的NT方法通常依赖于手工设计的声学和语言特征.

研究的目的:

• 研究深度神经网络 (DNN) 模型在提取语音特征的有效性,以预测神经对竞争性语音反应.
• 为了比较DNN提取的特征与手工设计的声学特征的预测能力,用于神经跟踪.
• 评估DNN提取的特征对听觉注意力分类准确性的影响.

主要方法:

• 记录了来自17名正常听力听众的64通道电脑电图 (EEG) 数据.
• 听众被告知要参加两个相互竞争的演讲流之一.
• 使用DNN提取的语音特征与手工设计的声学特征进行神经反应的比较预测.

主要成果:

• 通过DNN提取的语音特征,对EEG反应的预测要比使用手工设计的声学特征要好得多.
• DNN模型的早期层为神经反应提供了最高的预测准确性.
• 当使用DNN提取的语音特征时,听觉注意力分类的准确性显著增加.

结论:

• 与传统方法相比,DNN提取的语音特征可以更好地预测神经对听话反应的神经反应.
• 层次DNN,特别是早期层,对于提取神经跟踪相关语音特征是有效的.
• 这些发现支持开发先进的神经跟踪措施,以改善听力技术.