Mejora de voz ligera a través de prioridades aprendibles y redes generativas adversarias de puente de Schrödinger

Área de la Ciencia:

• Inteligencia Artificial
• Procesamiento de Señales
• Aprendizaje Automático

Sus antecedentes:

• Los métodos convencionales de puente de Schrödinger para la mejora de voz enfrentan desafíos con rutas de transporte ineficientes, altos costos computacionales y calidad reducida en escenarios de recursos limitados.
• Los cruces de caminos en los modelos existentes conducen a ineficiencias computacionales y degradación del rendimiento.

Objetivo del estudio:

• Desarrollar un marco avanzado de mejora de voz que supere las limitaciones de los métodos convencionales de puente de Schrödinger.
• Mejorar la calidad, naturalidad y eficiencia computacional del habla, particularmente en entornos con recursos limitados.

Principales métodos:

• Integración de un módulo de prioridad aprendible con una red generativa adversaria de puente de Schrödinger.
• Utilización de entrenamiento adversario y funciones de pérdida multiescala para mejorar la calidad del habla.
• Desarrollo de un modelo de tamaño nano (0.04M parámetros) para un rendimiento eficiente.

Principales resultados:

• El marco propuesto supera significativamente los métodos del estado del arte en la mejora de voz.
• Se logró un rendimiento superior en métricas como la calidad general (OVRL), la calidad del habla (SIG), la calidad del ruido de fondo (BAK) y P808.MOS.
• Se demostraron resultados robustos y competitivos incluso con un modelo compacto de tamaño nano en condiciones de recursos limitados.

Conclusiones:

• La combinación sinérgica de la prioridad aprendible y la modelización adversaria mejora eficazmente la calidad y la eficiencia del habla.
• El módulo de prioridad aprendible es crucial para minimizar los cruces de caminos y optimizar las rutas de transporte.
• Este enfoque ofrece una solución computacionalmente eficiente y de alto rendimiento para la mejora del habla, especialmente en escenarios de computación de borde.