代对齐发现与语音相关的神经活动的发现
Qinwan Rabbani1, Samyak Shah2, Griffin Milsap3
1Department of Electrical and Computer Engineering, Johns Hopkins University, Baltimore, MD 21218, United States of America.
Journal of neural engineering
|August 28, 2024
概括
一个新的算法,代对齐发现动态时间扭曲 (IAD-DTW),准确地将神经信号与大脑计算机接口 (BCI) 的语音尝试对齐. 这种方法使得即使患者不能发出可听的语音,也可以训练语音BCI.
科学领域:
- 神经科学是一个神经科学.
- 生物医学工程 生物医学工程
- 计算机科学 计算机科学
背景情况:
- 大脑计算机接口 (BCI) 为神经系统疾病提供语音恢复.
- 神经活动和语音输出的精确时间对齐对于BCI训练至关重要.
- 一个关键的挑战是为患者培训BCI,因为缺乏基本真相而无法产生可听的语音.
研究的目的:
- 介绍一个代算法,代对齐发现动态时间扭曲 (IAD-DTW),用于神经语音活动检测 (nVAD).
- 为了能够发现电皮录像 (ECoG) 神经反应和语音尝试之间的精确对齐.
- 为了促进语音BCI的培训,对于语音生产受损的个人.
主要方法:
- 开发了IAD-DTW,将动态时间扭曲 (DTW) 集成到深度神经网络 (DNN) 损失函数中.
- 在正常人身上测试了IAD-DTW,在语音任务中使用ECoG录音.
- 通过扰乱神经数据和语音信号之间的时间对应,模拟缺乏基本真相.
主要成果:
- IAD-DTW准确地预测了言语的开始和持续时间.
- 该算法表现出强大性,即使在最大时间错位的情况下,精度降低<1%.
- 尽管模拟缺少地面真相数据,但业绩仍然很高.
结论:
- IAD-DTW在计算上高效,易于集成到现有的基于DNN的nVAD系统中.
- 这种方法允许使用非语音患者的ECoG数据来训练语音BCI.
- 允许BCI开发用于诸如Locked-In综合症等疾病,显著提高了语音恢复可能性.
