Bangla reconocimiento de voz y emociones utilizando aprendizaje profundo basado en ensamblaje y fusión de...

Área de la Ciencia:

• Procesamiento del habla
• Inteligencia artificial
• Interacción hombre-computadora

Sus antecedentes:

• El reconocimiento de emociones del habla en bengalí enfrenta desafíos en cuanto a precisión, dependencia del hablante y generalización.
• Los métodos existentes que utilizan modelos de aprendizaje profundo tradicionales o básicos carecen de robustez en condiciones variadas.

Objetivo del estudio:

• Proponer un nuevo enfoque de fusión de funciones de aprendizaje profundo de múltiples flujos para el reconocimiento de emociones del habla bengalí.
• Abordar las limitaciones de los métodos existentes mejorando la precisión, la robustez y la generalización.

Principales métodos:

• Técnicas de aumento de datos aplicadas a los conjuntos de datos de entrenamiento.
• Extracción de elementos hechos a mano (ZCR, MFCC, etc.) y las características de aprendizaje profundo.
• Arquitectura de aprendizaje profundo de múltiples flujos con las corrientes 1D CNN, CNN-LSTM y CNN-Bi-LSTM.
• Aprendizaje conjunto con votación suave para la predicción final.

Principales resultados:

• Se han alcanzado altas precisiones: 92,90% (SUBESCO), 85,20% (BanglaSER), 90,63% (fusionado), 67,71% (RAVDESS), 69,25% (EMODB).
• Demostró una mayor robustez y generalización en comparación con los métodos existentes.
• Combinación efectiva de las características de aprendizaje artesanal y profundo a través del aprendizaje conjunto.

Conclusiones:

• El enfoque de fusión de funciones de aprendizaje profundo de múltiples corrientes propuesto mejora significativamente el reconocimiento de emociones del habla bengalí.
• La combinación de diversas características y el aprendizaje conjunto proporciona una solución más completa y robusta.
• El método ofrece un avance prometedor para el reconocimiento de emociones en los sistemas de interacción humano-computadora.