Un conjunto de datos dinámicos de la lengua de signos malaia para el reconocimiento y la traducción de la lengua de...

Área de la Ciencia:

• Ciencias de la computación Ciencias de la computación
• La inteligencia artificial es inteligencia artificial.
• La lingüística es la lingüística de las lenguas.

Sus antecedentes:

• Las lenguas de señas son únicas y culturalmente matizadas, lo que plantea desafíos para el reconocimiento y la traducción automatizados.
• Los conjuntos de datos existentes del lenguaje de señas de Malasia (BIM) son limitados en tamaño y alcance, lo que dificulta el desarrollo de modelos efectivos de aprendizaje automático.
• Los conjuntos de datos actuales se centran principalmente en caracteres aislados, palabras y frases cortas, y no logran capturar la naturaleza continua de la comunicación en lenguaje de signos.

Objetivo del estudio:

• Introducir un conjunto de datos completo y dinámico para el lenguaje de señas de Malasia (BIM) para abordar las limitaciones de datos en la investigación.
• Facilitar el desarrollo de sistemas avanzados de reconocimiento y traducción de lenguaje de señas.
• Para apoyar la investigación que utiliza el marco de trabajo Sign-to-Gloss-to-Text y otras metodologías relacionadas.

Principales métodos:

• Desarrolló dos versiones del conjunto de datos BIM: BIM-SSD-V1 (video, brillo, traducción) y BIM-SSD-V2 (video, puntos clave, brillo para el reconocimiento; brillo, traducción para la traducción).
• Datos recopilados que reflejan escenarios de comunicación cotidianos, incluyendo variadas construcciones de oraciones y diversas condiciones de grabación.
• Colaboró con la comunidad de personas sordas y con dificultades auditivas y un experto en BIM para la compilación y anotación de datos, asegurando la autenticidad y relevancia.

Principales resultados:

• BIM-SSD-V1 incluye 4.858 entradas de datos paralelas de video, brillo y traducción.
• BIM-SSD-V2 incluye 3.143 datos de video, puntos clave y brillo paralelos, junto con 4.900 entradas de datos de brillo y traducción paralelos.
• El conjunto de datos incorpora videos sin procesar y un módulo de lenguaje de señas con cuatro muestras por entrada para una mayor facilidad de uso.

Conclusiones:

• El conjunto de datos BIM dinámico recientemente introducido amplía significativamente los recursos para la investigación de la Lengua de Señas de Malasia.
• Este conjunto de datos permite una capacitación más robusta de los modelos de aprendizaje automático para el reconocimiento y la traducción continuos del lenguaje de señas.
• Proporciona un recurso valioso para los investigadores que tienen como objetivo mejorar las tecnologías de lenguaje de señas, particularmente dentro del marco Sign-to-Gloss-to-Text.