从自然语音中解码语义,使用人类内EEG

科学领域:

• 神经科学是一个神经科学.
• 计算语言学 计算语言学
• 生物医学工程 生物医学工程

背景情况:

• 大脑计算机接口 (BCI) 显示出在受损人群中恢复言语的潜力.
• 解码语音语音特征正在进步,但词汇语义解码仍然有限.
• 现有的BCI研究通常使用受控设置,而不是自然对话.

研究的目的:

• 调查自发对话期间从神经活动中解读词汇语义信息的解码.
• 在生态环境中评估语义解码的可行性.
• 识别参与语音制作期间语义处理的神经网络.

主要方法:

• 在自然对话中使用了14名参与者的立体电脑电图 (sEEG) 记录.
• 应用多变量模式分析来解码单词级语义特征.
• 分析了与语言产生相关的神经活动.

主要成果:

• 在语言生成过程中,实现了21%的平均语义解码精度,远高于偶然 (10%).
• 在不同的表示中展示了强大的语义解码,保持了特征特异性.
• 确定了一种左侧化网络 (前中心环,三角,中皮层) 参与语义解码.
• 发现低频振荡的贡献更大.

结论:

• 建立了从自然语音生成过程中的神经活动中提取单词含义的可行性.
• 展示了BCI在解码无约束语音中的语义内容方面的潜力.
• 为发言障碍者开辟了更自然的沟通恢复技术的道路.