在多说话者环境中提高了注意力选择的解码,具有自我监督的学习语音表示.

科学领域:

• 神经科学是一个神经科学.
• 信号处理 信号处理
• 人工智能的人工智能

背景情况:

• 听觉注意力解码 (AAD) 旨在通过分析听众的大脑活动,在杂的环境中隔离和放大目标说话者的声音.
• 目前的AAD方法依赖于语音表示,如波形或光谱图,有效性不确定.
• 自主监督学习为更强大的语音表示提供了潜力.

研究的目的:

• 调查自我监督的学习语音表现对提高AAD表现的有效性.
• 为了比较WavLM衍生的语音表示与AAD中的传统方法 (语音信封,光谱图).

主要方法:

• 侵袭性心电图 (ECoG) 记录了三个受试者的大脑活动,这些受试者正在听两个同时进行的对话.
• WavLM被用来提取隐藏的语音表示.
• 一个时空过器将ECoG数据映射到WavLM表示中进行解码.

主要成果:

• 基于WavLM的语音表示与语音封面和谱图相比,产生了更高的解码精度.
• 通过使用WavLM表示,AAD速度也得到了改进.
• 这项研究表明了自主监督学习在AAD的实际优势.

结论:

• 自主监督的学习语音表示,特别是来自WavLM,为听觉注意力解码提供了显著的优势.
• 这些发现支持先进的脑控制可听技术的发展.
• 该研究强调了改善语音分离和听觉感知的有希望的方向.