使用自主监督变压器和多任务学习的扬声器独立性脱节性关节症严重程度分类

科学领域:

• 神经语言学和计算听力学
• 医疗保健中的人工智能
• 语音病理学和康复治疗 语音病理学和康复治疗

背景情况:

• 发音障碍是由于神经疾病导致的语言障碍,由于其复杂性和主观评估方法,它提出了诊断挑战.
• 目前的临床评估依赖于专家视听分析,这可能是耗时和不一致的.
• 需要客观的定量方法来准确地分层和监测失关节症的严重程度.

研究的目的:

• 引入一种新的机器学习框架,即扬声器不可知潜伏规范化 (SALR),用于对失联症的客观分类和监测.
• 开发一个独立于说话者的模型,减少对个人的言语特征的依赖.
• 提供一种可访问和具有成本效益的工具,用于评估失联症的严重程度.

主要方法:

• 使用基于变压器的架构,集成在健康语音数据上预先训练的 wav2vec 2.0 模型.
• 实施了具有多任务目标的对比性学习策略:严重程度分类的交叉损失和语音不可知嵌入的三倍边缘损失.
• 采用扬声器不可知潜伏规范化 (SALR) 来按严重程度分组潜伏语音嵌入,而不是按扬声器.

主要成果:

• 在UA-Speech数据集上,SALR框架实现了70.5%的准确性和59.2%的F1得分,使用了离开一个主体的交叉验证.
• 与之前的基准指标相比,显著改善了16.5%的绝对值 (30%的相对值).
• 可解释性分析证实了隐性空间中增强的顺序结构,减少了扬声器特定的依赖性,并显示了强度.

结论:

• 萨尔框架显示了独立于说话者的失联症严重程度分类的巨大潜力.
• 这种方法提供了一个客观的,可访问的,和成本效益的替代传统的肌痛评估方法.
• 该SALR框架对语音障碍评估中的自动化临床应用具有有前途的意义.