变压器CARE:一种新的语音分析管道,使用基于变压器的模型和音频增强技术来检测认知障碍

科学领域:

• 神经学 神经学
• 计算语言学 计算语言学
• 人工智能的人工智能

背景情况:

• 包括阿尔茨海默病在内的认知障碍的早期诊断至关重要,但具有挑战性,超过50%的病例直到晚期才被诊断出来.
• 语音障碍被认为是认知能力下降的早期指标,这凸显了对新型诊断方法的需求.

研究的目的:

• 用先进的语音转换器模型评估语音分析的实用性,用于早期检测认知障碍.
• 介绍和评估TransformerCARE,一种新的语音处理管道,用于识别认知衰退的早期迹象.

主要方法:

• 转换器CARE管道涉及预处理,语音细分,四个最先进的语音转换器模型 (Wav2vec 2.0,HuBERT,WavLM,DistilHuBERT) 的微调,细分聚合和性能评估.
• 采用了数据增强技术,特别是频率掩盖,以提高模型检测微妙声学线索的能力.
• 在ADReSSo挑战数据集上测量了表现,包括237名受试者.

主要成果:

• 变压器CARE在HuBERT模型中获得了最高的性能,其AUC为81.80.
• 频率掩盖数据增强提高了5%的性能,达到AUC的86.11.11.
• 将临床医生的演讲纳入分析进一步提高了管道的性能. 错误分析揭示了错误分类的案件中明显的声学模式差异.

结论:

• 转换器CARE显示出作为临床查工具的显著潜力,用于早期检测认知障碍.
• 该管道可以帮助及时诊断和适当的患者护理,促进整合到临床工作流程中.