从非侵入性大脑记录中解码单个单词

科学领域:

• 神经科学是一个神经科学.
• 人工智能的人工智能
• 计算语言学 计算语言学

背景情况:

• 深度学习已经开发出先进的脑计算机接口 (BCI),用于使用侵入性内记录来解码语言.
• 从非侵入性脑信号 (EEG,MEG) 解读自然语言仍然是一个重大挑战.

研究的目的:

• 引入和评估一种深度学习管道,用于从电脑学 (EEG) 和磁脑学 (MEG) 信号中解码单个单词.
• 评估模型在各种数据集,语言和实验条件中的性能.

主要方法:

• 开发了一种新的深度学习管道,用于从EEG和MEG数据中解码单词.
• 该管道在7个公开和2个新收集的数据集上得到验证,共计723名参与者和三种语言的500多万个词.
• 在不同的录音设备,任务 (阅读与倾听) 和数据量中评估了性能.

主要成果:

• 拟议的深度学习模型在参与者,设备,语言和任务之间在文字解码准确性方面始终超过现有方法.
• 该模型展示了解码在训练集中不存在的单词的能力 (零射击解码).
• 解码性能受到记录模式 (MEG优于EEG) 和任务 (阅读优于听) 的影响,并且随着训练数据和测试信号平均值的增加而得到改善.

结论:

• 开发的深度学习管道代表了大脑活动的非侵入性自然语言解码的重大进步.
• 与EEG和听觉相比,MEG和阅读任务为解码提供了更有利的条件.
• 进一步的研究和数据对于完善用于自然语言应用的非侵入性脑解码器至关重要.