从发音到想象:通过多条件EEG数据改进语音解码

科学领域:

• 神经科学是一个神经科学.
• 生物医学工程 生物医学工程
• 语音处理 语音处理

背景情况:

• 基于脑电图 (EEG) 的想象式语音解码显示出对运动神经元疾病患者的希望.
• 目前的局限性包括小型数据集和缺乏感官反,阻碍性能.
• 调查公开 (口头) 语音数据的整合以提高想象语音分类至关重要.

研究的目的:

• 确定从公开演讲中整合EEG数据是否可以改善想象式演讲的分类.
• 为了比较不同的训练数据集场景,以优化基于EEG的语音解码.
• 评估使用公开语音数据在神经退行性疾病中增强脑计算机接口 (BCI) 的可行性.

主要方法:

• 系统地比较了四种分类场景:内主体 (仅有想象的语音,仅有公开的语音,结合) 和多主体 (结合公开的语音与目标参与者的想象语音).
• 卷积神经网络EEGNet被用于所有分类任务.
• 24名健康的参与者产生和想象了5个西班牙语单词.

主要成果:

• 在主体内部的场景中,将公开和想象的语音数据结合起来,与单独使用想象的语音相比,在10对中的4对中,二进制单词对分类准确度提高了3%-5.17%.
• 虽然最高的个体准确率 (95%) 仅在想象式语音方面,但结合数据增加了参与者,从10到15达到>70%的准确率.
• 在结合公开和想象的语音数据时,在主体内部的多类场景中没有观察到统计学上显著的改善.

结论:

• 整合公开语音数据可以增强个性化的想象语音解码模型,为BCI提供实用策略.
• 诸如单词长度,语音复杂度和使用频率等特征影响想象中的语音可辨性.
• 这种方法支持在运动神经元疾病患者早期采用BCI,在明显的语音恶化之前减轻挑战.