从非侵入性听觉皮层录音中重建语音身份
Charly Lamothe1,2, Etienne Thoret1,2,3,4, Régis Trapeau1
1La Timone Neuroscience Institute UMR 7289, CNRS, Aix-Marseille University, Marseille, France.
eLife
|January 8, 2026
概括
研究人员使用深度神经网络的语音潜伏空间 (VLS) 绘制了语音身份. 这种VLS有效地代表了时间语音区域 (TVA) 中的说话者身份,使语音重建成为可能.
科学领域:
- 神经科学是一个神经科学.
- 听觉感知是一种听觉感知.
- 在神经科学中的机器学习
背景情况:
- 时间声区 (TVA) 在灵长类动物中处理同类声调.
- 在TVA中,说话者身份的神经表达还没有得到很好的理解.
研究的目的:
- 研究说话者身份如何在大脑中表现.
- 探索深度神经网络衍生的语音潜伏空间 (VLS) 的实用性,以了解语音身份的神经表示.
主要方法:
- 利用深度神经网络 (DNN) 创建一个语音潜伏空间 (VLS).
- 采用编码,表示相似性和解码分析来将VLS与fMRI数据联系起来.
- 分析了来自数百名演讲者的成千上万个声音刺激的反应.
主要成果:
- VLS线性地映射到时间声区 (TVA) 的fMRI活动上.
- 与初级听力皮层 (A1) 相比,VLS在TVA中更好地解释了发言者身份的表示几何学.
- 使用VLS的基于TVA的重建保存了说话者的身份.
结论:
- 从DNN衍生出的VLS在TVAs中提供了高层次的语音身份表示.
- 这项研究促进了对用于语音识别的神经编码的理解.
关键词:
DNNs 是一个 DNN.计算生物学是计算生物学.功能磁力共振成像 (fMRI) 是一种人类 人类 人类 人类 人类 人类 人类神经科学 神经科学系统生物学 系统生物学时间语音区域.声音感知 语音感知声音重建语音的重建更多相关视频
08:45Mapping Cortical Dynamics Using Simultaneous MEG/EEG and Anatomically-constrained Minimum-norm Estimates: an Auditory Attention Example
Published on: October 24, 2012
15.2K
09:29Stereotactically-guided Ablation of the Rat Auditory Cortex, and Localization of the Lesion in the Brain
Published on: October 11, 2017
12.1K
