跨口吃:一种基于变压器的深度学习方法,用于使用2D Mel-Spectrogram可视化和基于注意力的特征表示来分类口吃的语言

科学领域:

• 语言病理学 语音病理学
• 神经发育障碍 神经发育障碍
• 医疗保健中的人工智能

背景情况:

• 吃是一种常见的神经发育障碍,影响言语流.
• 准确的对口吃类型的分类对于有效的诊断和干预至关重要.
• 现有的方法可能无法完全捕捉到语言不流的复杂时间模式.

研究的目的:

• 介绍TranStutter,一种基于变压器的新型深度学习模型,用于语音不流利的分类.
• 为了评估TranStutter在识别各种口吃类型的准确性.
• 为了证明模型的潜力,以提高口吃的诊断和治疗.

主要方法:

• 开发了TranStutter,这是一个使用多头自我注意和定位编码的深度学习模型.
• 在两个基准数据集上测试了TranStutter:播客中的口吃事件 (SEP-28k) 和FluencyBank采访子集.
• 基于不同口吃亚型 (阻塞,延长,重复,插入) 的分类准确度评估模型性能.

主要成果:

• 在SEP-28k数据集上,TranStutter取得了88.1%的准确性.
• 该模型在FluencyBank数据集上显示了80.6%的准确性.
• 结果表明,在捕捉复杂的时间语音模式方面,性能优越.

结论:

• "TranStutter"显示了彻底改变口吃的诊断和治疗的巨大潜力.
• 该模型的创新架构可以精确识别细微的失调.
• 这一进步有助于针对性干预的语言病理学和神经发育研究.