可解释的语音特征与DNN嵌入:在多语言场景中,在对帕金森病的自动评估中使用什么

科学领域:

• 计算语言学 计算语言学
• 语音处理 语音处理
• 生物医学工程 生物医学工程

背景情况:

• 帕金森病 (PD) 评估通常使用语音分析.
• 目前的方法经常使用不可解释的深度神经网络嵌入,以获得高精度.
• 需要对可解释和不可解释的语音特征进行系统的比较,以检测PD.

研究的目的:

• 系统地评估可解释和不可解释的语音特征的预测能力和语言稳定性,以检测帕金森病.
• 为了比较prosodic,语言和认知特征的性能与基于深度学习的表征,如x-vectors,Wav2Vec 2.0,HuBERT和TRILLsson.
• 通过使用多种语言数据集评估单语言,多语言和跨语言实验的模型性能.

主要方法:

• 使用的可解释特征:前性,语言和认知描述符.
• 使用了不可解释的特征:x向量,Wav2Vec 2.0,HuBERT和TRILLsson表示.
• 在六个数据集上进行了单语言,多语言和跨语言机器学习实验,这些数据集来自美国英语,加斯蒂利亚西班牙语,哥伦比亚西班牙语,意大利语,德语和捷克语.

主要成果:

• 非可解释的基于特征的模型比可解释的模型 (81%单语言,81%多语言,71%跨语言) 获得更高的F1平均得分 (85%单语言,88%多语言,79%跨语言).
• TRILLsson成为跨任务和数据集中最稳定,最准确的非可解释特征,尤其在跨语言实验中表现出色.
• 这两种特征类型在多语言和跨语言环境中都表现出一定程度的语言稳定性.

结论:

• 非可解释的特征,特别是TRILLsson,为帕金森病的检测提供了更高的准确性,特别是在跨语言的场景中.
• 可解释特征为临床医生提供了宝贵的见解,以监测帕金森病患者的言语恶化.
• 这项研究强调了可解释和不可解释特征在帕金森病语音分析中的互补作用.