整合精细调整的LLM与声学特征,以加强对阿尔茨海默病的检测

科学领域:

• 神经学 神经学
• 人工智能的人工智能
• 计算语言学 计算语言学

背景情况:

• 痴呆症,特别是阿尔茨海默氏症 (AD),是一个重大的全球健康挑战.
• 早期发现AD对于有效的管理和治疗至关重要.
• 可靠生物标志物的有限可用性需要替代的诊断方法.

研究的目的:

• 开发和评估使用口语自动检测阿尔茨海默病的多模式系统.
• 研究结合语言和声学特征的有效性,以早期识别认知障碍.
• 为了比较各种AI架构,以获得最佳的AD检测性能.

主要方法:

• 利用了健康个体和阿尔茨海默病患者的口语图像描述.
• 采用微调的大型语言模型 (LLM) 来进行语言分析.
• 集成的音频特征提取器 (例如VGGish) 和分类器 (例如支持矢量分类器).
• 比较单模和多模系统架构.

主要成果:

• 结合Mistral-7B (LLM),VGGish (音频功能) 和支持矢量分类器 (SVC) 的多式系统实现了最佳性能.
• 与以前的方法相比,拟议的系统在检测阿尔茨海默病方面表现出更高的准确性.
• 在ADReSSo 2021测试套件上验证了性能.

结论:

• 语音分析,特别是当与先进的人工智能集成时,为早期发现阿尔茨海默病提供了一个有前途的途径.
• 利用语言和声学信息的多模式方法提高了诊断准确度.
• 开发的系统为识别潜在阿尔茨海默病患者的认知障碍提供了有价值的工具.