统计,多尺度和基于注意力的Wav2Vec-2语音嵌入层聚合用于帕金森病检测

科学领域:

• 语音处理 语音处理
• 机器学习在医疗保健中的应用
• 生物医学信号分析分析

背景情况:

• 像 wav2vec 2.0 这样的自我监督模型为临床应用产生了有价值的语音嵌入.
• 将框架级嵌入到发言描述器中的聚合对于像帕金森病 (PD) 查等任务至关重要.
• 使用这些嵌入式的PD检测的最佳聚合策略仍未得到充分探索.

研究的目的:

• 为了比较PD检测中 wav2vec 2.0 语音嵌入的各种聚合方法.
• 评估不同模型变体,层深度和聚合函数的影响.
• 为二进制分类 (PD与健康对照) 创建固定长度发言描述符的最有效策略.

主要方法:

• 在多个层深度中比较了三种wav2vec 2.0变体 (基础,微调).
• 评估了十个统计聚合函数 (平均值,中位数,量值) 和两个高级方案 (注意力,多尺度聚合).
• 使用了MDVR-KCL读音语语料库 (16 PD, 21 HC) 并应用监督特征选择 (ANOVA F值).

主要成果:

• 简单的统计聚合,特别是平均值聚合,始终优于复杂的方法.
• 早期的模型表示 (变压器前,第1变压器块) 通常是最有信息的.
• 基于wav2vec的嵌入式超越了传统的声学基线,特征选择提高了性能 (例如,0.87平衡精度,0.92精度).

结论:

• 均值聚合是一种强大而有效的策略,用于PD检测中wave2vec 2.0嵌入的时间聚合.
• 简单的聚合方法通常是足够的,并且比复杂的方法更可靠.
• 当适当聚合时, wav2vec 2.0 嵌入式为非侵入性 PD 查提供了一个有希望的途径.