一个视觉转换器架构用于从ECoG数据中解码公开的语音

科学领域:

• 神经科学是一个神经科学.
• 计算机科学 计算机科学
• 人工智能的人工智能

背景情况:

• 语音脑计算机接口 (BCI) 将神经活动解码为合成语音.
• 一个关键的挑战是实时,可理解的语音合成从连续的大脑活动没有限制性语言模型.
• 当前的BCI经常在自然,言论自由的生产中面临限制.

研究的目的:

• 开发和评估一种新的语音编码解码器架构BCI.
• 将基于视觉变压器 (ViT) 的编码器与卷积神经网络 (CNN) 编码器进行比较.
• 引入和评估基于动态时间扭曲 (DTW) 的数据增强策略.

主要方法:

• 一种使用多层视觉变压器 (ViT) 来将神经数据编码到潜在空间的编码器-解码器架构.
• 一个双向的LSTM循环网络,将隐性变量转换为声学系数.
• 与使用卷积神经网络 (CNN) 进行编码的传统架构进行比较.
• 使用动态时间扭曲 (DTW) 实现数据驱动的数据增强策略.

主要成果:

• 与基于卷积神经网络 (CNN) 的编码器相比,基于视觉转换器 (ViT) 的编码器在预测线下产生的语音方面表现优越.
• 基于动态时间扭曲 (DTW) 的数据增强策略显著改善了语音解码性能.
• 拟议的架构显示了BCI中更自然和更易理解的语音合成的前景.

结论:

• 视觉转换器 (ViT) 架构对于编码语音BCI中的神经活动是有效的.
• 动态时间扭曲 (DTW) 数据增强增强了语音解码模型的稳定性和准确性.
• 这些进步代表了迈向实时,从大脑活动中自然语音合成的重要一步.