BanglaMUSE: Un conjunto multimodal de datos de sentimiento en Bangla de pares de texto y audio para el análisis del...

Área de la Ciencia:

• Procesamiento del lenguaje natural.
• Procesamiento del habla Procesamiento del habla
• La inteligencia artificial es inteligencia artificial.

Sus antecedentes:

• Los conjuntos de datos multimodal son cruciales para el avance de la investigación en IA, especialmente para los idiomas de bajos recursos.
• Los recursos existentes a menudo carecen de datos de voz y texto sincronizados para el análisis de sentimientos en Bangla.
• Cerrar esta brecha es esencial para el desarrollo de tecnologías inclusivas de IA.

Objetivo del estudio:

• Introducir un nuevo conjunto de datos de sentimiento multimodal de Bangla disponible para el público.
• Facilitar la investigación en el análisis de sentimientos, el procesamiento del habla y el modelado de lenguaje de bajos recursos.
• Apoyar el desarrollo de sistemas de IA que comprendan las emociones humanas en Bangla.

Principales métodos:

• Curó 1.000 oraciones en Bangla en las clases de sentimientos positivos y negativos.
• Recogió 4.000 grabaciones de audio sincronizadas de cuatro hablantes nativos.
• Calidad de los datos asegurada a través de la verificación manual y condiciones de registro controladas.

Principales resultados:

• Desarrolló un conjunto de datos con modalidades alineadas de texto y voz en bengalí.
• Se logró una distribución equilibrada de los sentimientos y diversidad de hablantes.
• Se verificó la exactitud de los datos y se eliminó el ruido para una investigación confiable.

Conclusiones:

• El conjunto de datos proporciona un valioso recurso para la clasificación multimodal de sentimientos y el reconocimiento del habla consciente de los sentimientos.
• Permite la evaluación comparativa de los enfoques de aprendizaje multimodal para lenguas de bajos recursos.
• Contribuye a la diversidad lingüística en la IA mediante el apoyo a la investigación de la lengua bengalí.