Transformador de extracción deflacional para la separación del habla con un número desconocido de hablantes

Área de la Ciencia:

• Procesamiento del habla
• Aprendizaje automático
• Procesamiento de señales

Sus antecedentes:

• La separación tradicional del habla a menudo requiere un conocimiento previo del número de hablantes.
• Esta limitación dificulta las aplicaciones del mundo real donde el número de altavoces es incierto.

Objetivo del estudio:

• Desarrollar un método automatizado de separación de voz que no requiera conocer el número de hablantes.
• Mejorar el rendimiento de la separación del habla en entornos acústicos sin restricciones.

Principales métodos:

• Una nueva técnica de separación del habla que emplea una extracción deflacionaria de las voces de los hablantes individuales.
• Utiliza una columna vertebral basada en transformador con entrenamiento de invariabilidad de permutación para una identificación robusta de altavoces.
• Incorpora un criterio de terminación predefinido para determinar automáticamente el número de oradores.

Principales resultados:

• El método propuesto logra un rendimiento superior en comparación con los modelos de última generación en los conjuntos de datos Libri5Mix y Libri10Mix.
• Demuestra mejoras significativas incluso cuando el número de hablantes no se proporciona como entrada.
• Separa efectivamente el habla sin conocimiento previo del número de hablantes.

Conclusiones:

• El método desarrollado ofrece una solución práctica para la separación del habla en escenarios con números de hablantes desconocidos.
• Avanza en el campo del procesamiento de señales de audio al permitir una separación robusta sin información explícita sobre el número de altavoces.
• Destaca el potencial de las arquitecturas de transformadores y el entrenamiento de permutación invariante para tareas de audio complejas.