通过标签MRI的4D运动场的交叉模式翻译来检测语音运动异常
Xiaofeng Liu1, Fangxu Xing1, Jiachen Zhuo2
1Gordon Center for Medical Imaging, Massachusetts General Hospital and Harvard Medical School, Boston, MA 02114 USA.
Proceedings of SPIE--the International Society for Optical Engineering
|September 6, 2024
概括
这项研究引入了一种新的框架,通过分析舌头运动和声学来检测语音异常. 它使用在健康数据上训练的深度学习模型来识别患者的偏差,帮助评估语音障碍.
科学领域:
- 生物医学工程 生物医学工程
- 语音科学 语言科学
- 机器学习 机器学习
背景情况:
- 了解发音声学关系对于语音质量评估和康复至关重要.
- 在语言障碍中检测异常的关节特征需要先进的方法.
研究的目的:
- 开发一个用于检测语音运动和声学异常的框架.
- 为了弥合4D标记MRI运动数据和2D语音谱图之间的差距.
主要方法:
- 在健康个体的数据上训练有素的深度交叉模式翻译器被开发出来.
- 翻译器被用作异常探测器,通过测量谱图重建质量来检测异常.
- 使用一类SVM来区分健康和患者数据.
主要成果:
- 该框架成功检测到异常患者数据.
- 深度翻译模型 (3D卷积和基于变压器) 在健康数据上受训.
- 绩效评估显示,该模型能够识别特定于患者的模式.
结论:
- 拟议的框架显示了提高对口音-声学关系的理解的潜力.
- 这种方法可以帮助评估和检测与语言有关的障碍.
- 这项研究强调了交叉模式学习对语音分析的有用性.
