Síntesis de voz patológica controlable en severidad para aplicaciones clínicas

Área de la Ciencia:

• Síntesis de voz
• Habla patológica
• Aprendizaje automático

Sus antecedentes:

• La síntesis de voz patológica presenta desafíos en el control de la severidad del habla.
• Los sistemas existentes de texto a voz (TTS) tienen dificultades para generar diversas características del habla patológica.
• Es difícil generar conjuntos de datos de múltiples severidades para el habla patológica de un solo hablante.

Objetivo del estudio:

• Desarrollar un novedoso sistema de síntesis de voz patológica a texto (TTS) capaz de controlar la severidad del habla.
• Mejorar la naturalidad, la controlabilidad y la estabilidad del habla patológica sintetizada.
• Aprovechar los incrustados de hablante existentes (vectores x) para el condicionamiento de la severidad.

Principales métodos:

• Se utilizó la mejora de datos para crear un conjunto de datos de entrenamiento de múltiples severidades para un solo hablante.
• Se emplearon vectores x como variable de condicionamiento para el control de la severidad del habla.
• Se modificó la arquitectura GradTTS para mejorar la modelización de la duración del habla patológica.

Principales resultados:

• El sistema GradTTS propuesto demostró un rendimiento superior en comparación con el TransformerTTS de referencia.
• Las evaluaciones objetivas y subjetivas confirmaron la efectividad del sistema.
• El sistema generó con éxito muestras de voz patológica más naturales, controlables y estables.

Conclusiones:

• El sistema GradTTS desarrollado ofrece un control efectivo sobre la severidad del habla patológica.
• La integración de vectores x y modificaciones arquitectónicas mejora las capacidades de TTS patológica.
• Este trabajo avanza el campo de la síntesis de voz patológica controlable y de sonido natural.