Un estudio sistemático de la mejora del habla basada en DNN en entornos de reverberación y reverberación ruidosa

Área de la Ciencia:

• Inteligencia artificial
• Procesamiento de señales
• Acústico

Sus antecedentes:

• Las redes neuronales profundas (DNN) han avanzado significativamente en la mejora del habla.
• Los métodos actuales basados en DNN utilizan principalmente el dominio de frecuencia para la desreverberación del habla.
• Los enfoques de dominio temporal se consideran tradicionalmente menos efectivos para la desreverberación.

Objetivo del estudio:

• Investigar la efectividad de los modelos de aprendizaje profundo de dominio temporal para la mejora del habla.
• Analizar sistemáticamente el impacto de varios componentes en el rendimiento de la desreverberación del habla.
• Para comparar el rendimiento de las redes recurrentes atentas (ARN) y las redes recurrentes convolucionales densamente conectadas (DC-CRN).

Principales métodos:

• Empleó dos redes neuronales profundas: ARN y DC-CRN.
• Investigó los efectos de los tamaños de ventana, las funciones de pérdida y las representaciones de características.
• Evaluaciones realizadas en condiciones de solo reverberación y con ruido de reverberación.
• Operaciones de transformación incorporadas (convolucionales o lineales) para la codificación/decodificación de las características de la forma de onda.

Principales resultados:

• Se encontró que los tamaños de ventanas más grandes eran beneficiosos para la desreverberación.
• Las operaciones de transformación mejoraron la escasez de representaciones aprendidas e impulsaron el rendimiento del modelo de dominio temporal.
• Las técnicas propuestas mejoraron el rendimiento de los modelos ARN y DC-CRN.
• Logró un rendimiento superior en comparación con las líneas de base de mejora sólida existentes.

Conclusiones:

• Los modelos de aprendizaje profundo de dominio temporal pueden ser muy efectivos para la mejora del habla, particularmente con componentes optimizados.
• La integración de operaciones de transformación y tamaños de ventana más grandes representa un avance significativo en la desreverberación del habla.
• Los modelos ARN y DC-CRN, cuando se mejoran con estas técnicas, superan a los métodos convencionales en entornos acústicos desafiantes.