一个混合交叉注意力CNN-BiLSTM-变压器网络用于失联症严重程度分类
M S Remya1, Prakash Ishwar2, Prema Nedungadi3
1Amrita School of Computing, Amritapuri, Amrita Vishwa Vidyapeetham, Kollam, Kerala, India. remyams@am.amrita.edu.
Scientific reports
|November 26, 2025
概括
这项研究引入了一种混合深度学习模型,用于准确检测和严重程度分类. 这种新的方法显著改善了自动语音障碍评估的早期诊断和个性化治疗.
科学领域:
- 神经学 神经学
- 语音科学 语言科学
- 人工智能的人工智能
背景情况:
- 发病症是一种神经语言障碍,由于肌肉软弱导致关节功能障碍.
- 对于及时干预和个性化管理而言,客观评估脱节症至关重要.
- 目前用于关节炎检测和分类的方法在准确性和临床适用性方面存在局限性.
研究的目的:
- 开发和评估一种新的混合深度学习模型,用于客观,自动检测和严重程度分类.
- 通过交叉注意力机制,研究基于波纹的声谱图像与声学特征的融合效果.
- 提高自动语音障碍评估的准确性和临床实用性.
主要方法:
- 提出了一个混合深度学习模型,集成卷积神经网络 (CNN),双向长期短期记忆 (BiLSTM) 和变压器架构.
- 采用了独特的交叉注意力机制,将基于波纹的头图像与七个声学特征 (例如,MFCC,光谱描述器) 融合在一起.
- 该模型在两个公共数据集 (TORGO,UA Speech) 上使用二进制检测和多类严重性分类任务进行了评估,并进行了跨数据集测试和十倍交叉验证.
主要成果:
- 实现了最先进的准确性:98.74%和99.86%用于二进制关节炎检测,以及95.69%和97.91%用于多级重度分类.
- 拟议的模型在检测微妙的关节障碍线索方面显著超过了MFCC基线 (p < 0.01).
- 通过交叉数据集测试和十倍交叉验证证实了稳定性.
结论:
- 多模式交叉注意力功能融合显著提高了自动化关节炎检测和严重程度分类的准确性.
- 这种先进的方法提高了语言障碍评估工具的临床适用性.
- 这些发现支持早期诊断和个性化治疗计划对患有脱节症的个体.