基于EEG的听觉注意力解码,用于在混合语音听力辅助条件下识别扬声器

科学领域:

• 神经科学是一个神经科学.
• 生物医学工程 生物医学工程
• 信号处理 信号处理

背景情况:

• 听力注意力解码 (AAD) 用于使用脑电图 (EEG) 识别扬声器,对于听力受损者来说是一项挑战.
• 现有的方法无法解释助听器改变的听觉感知,并且缺乏强大的EEG语音特征提取.
• 有限的数据集和薄弱的交叉模式对齐阻碍了用于助听器的有效SI-AAD的开发.

研究的目的:

• 开发一套针对听力受损人士的听觉注意力解码 (SI-AAD) 语音识别的新框架.
• 创建第一个EEG基准数据集 (MS-AAD),模拟助听器设备的声学变化.
• 通过改进的模式对齐和特征提取来增强EEG语音对应.

主要方法:

• 构建五个混合语音AAD数据集 (MS-AAD),模拟无空间线索的设备诱导的声学变化.
• 关于使用对比学习和辅助音色分类进行增强模式对齐的音色增强潜伏对齐 (TELA) 框架的建议.
• FCTNet的设计,一个基于频率-频道-时间注意力的EEG编码器,用于高级的神经模式提取.

主要成果:

• 联合的TELA和FCTNet框架在不同听力条件下实现了89.5%的SI-AAD准确性.
• 证明了MS-AAD数据集在模拟现实的听力条件中的有效性.
• 验证了感知导向表示学习和先进的EEG编码的重要性.

结论:

• 开发的SI-AAD方法通过解决设备诱导的声学变化,显著改善听力障碍者的表现.
• MS-AAD数据集和TELA框架为未来的助听技术研究提供了有价值的基准和方法.
• 先进的EEG编码和表示学习对于复杂的听觉环境中强大的SI-AAD至关重要.