ParkMAE:一个跨语言的蒙面自编码框架,用于从语音中强大的帕金森病检测

科学领域:

• 神经学 神经学
• 语音科学 语言科学
• 人工智能的人工智能

背景情况:

• 帕金森病的评估依赖于临床评估,这可能是主观的和耗时的.
• 语音变化是帕金森病的早期指标,提供了一个潜在的非侵入性生物标志物.
• 现有的语音分析方法往往缺乏稳定性,多语言能力和全面验证.

研究的目的:

• 介绍ParkMAE,一种用于帕金森病评估的多语言语音基础模型.
• 建立一个全面的基准测试系统来评估基于语音的帕金森病评估工具.
• 探索目前基于语音的诊断方法,药物监测,疾病分期和认知评估的能力和局限性.

主要方法:

• 在四种语言中策划了大规模的多语言语音数据集 (750小时的预训练,100小时的评估).
• 开发了一个自主监督的蒙面自动编码器 (ParkMAE),在多语言语料库上进行预训练.
• 在跨语言诊断,药物状态监测,疾病分期和认知评估 (MoCA) 上评估了ParkMAE.

主要成果:

• 在跨语言诊断方面,ParkMAE获得了39%的F1得分,超过了eGeMAPS,使用的参数比Whisper少89%.
• 在没有微调的情况下,向未见的语言展示了特殊的概括性.
• 显示了认知评估的预测能力 (MoCA,F1=0.56),但目前的方法在药物监测和疾病分期方面存在困难.

结论:

• ParkMAE提供了一个强大的,参数有效的,多语言的基础模型来评估帕金森病.
• 基于语音的评估显示出诊断和认知监测的前景,但需要进一步开发药物状态和疾病阶段.
• 这项研究为推进基于语音的帕金森病研究和临床应用提供了可重复的框架.