用MRI数据评估舌头癌症患者的声学精度的对比学习方法
Tomás Arias-Vergara1,2, Paula Andrea Pérez-Toro1,2, Xiaofeng Liu3
1Pattern Recognition Lab. Friedrich-Alexander University, Erlangen, Germany.
Interspeech
|December 27, 2024
概括
这项研究介绍了一种对比式学习方法,用于从没有音频的磁共振成像 (MRI) 数据中改进语音声音识别. 这一进步增强了MRI的语音类检测,有助于评估语音障碍.
科学领域:
- 医学成像和语音生产的生物力学.
- 计算语言学和机器学习在医疗保健中的应用.
背景情况:
- 磁共振成像 (MRI) 可视化声道动态,用于语音分析.
- 临床语音评估从MRI中获益,特别是使用语音方法.
- 声学数据的缺失限制了只有MRI的语音识别声音的准确性.
研究的目的:
- 开发一种对比式学习方法,以从MRI数据中改进语音类检测.
- 为了提高语音声音识别的准确性,当声学信号在推断过程中不可用时.
- 验证拟议方法在评估语言障碍方面的临床实用性.
主要方法:
- 使用磁共振成像 (MRI) 语音生成的数据.
- 实施了对比学习框架来分析声道动态.
- 使用开发的方法评估语音类的框架智能识别.
主要成果:
- 对比学习提高了框架智能的语音类识别,从0.74到0.85的F1分数.
- 仅从MRI数据中检测声学类的准确性有所提高.
- 在语音障碍评估中展示了临床应用的有希望的结果.
结论:
- 对比式学习有效地改善了无声信号的MRI数据的声学类检测.
- 该方法显示出临床应用的巨大潜力,特别是在对舌癌等患者的言语障碍评估中.
- 这种方法为语音分析提供了可行的解决方案,当音频录制是不可行的或不可用的.
更多相关视频
08:32Ultrasound Images of the Tongue: A Tutorial for Assessment and Remediation of Speech Sound Errors
Published on: January 3, 2017
21.5K
10:15Utilizing Repetitive Transcranial Magnetic Stimulation to Improve Language Function in Stroke Patients with Chronic Non-fluent Aphasia
Published on: July 2, 2013
17.6K
