Sign4all: un conjunto de datos del lenguaje de signos español

Área de la Ciencia:

• Ciencias de la computación Ciencias de la computación
• La inteligencia artificial es inteligencia artificial.
• Interacción hombre-computadora Interacción hombre-computadora.

Sus antecedentes:

• El reconocimiento de lenguaje de señas (SLR, por sus siglas en inglés) es crucial para la tecnología inclusiva.
• Los conjuntos de datos existentes se enfrentan a desafíos como la escasez de datos y el sesgo de derecha.
• Se necesitan conjuntos de datos completos para lenguas de señas específicas como el lenguaje de señas español (LSE).

Objetivo del estudio:

• Introducir Sign4all, un nuevo conjunto de datos para el reconocimiento de lenguaje de señas aislado (ISLR) en lenguaje de señas español (LSE).
• Abordar la escasez de datos y el sesgo de uso manual en los conjuntos de datos SLR actuales.
• Facilitar el desarrollo de modelos robustos de aprendizaje profundo para LSE.

Principales métodos:

• Recopilado 7.756 videos RGB de alta resolución y puntos clave esqueléticos para 24 signos LSE (vocabulario de catering).
• Implementó un enfoque de alta densidad con un promedio de 323 muestras por signo.
• Se aseguró el equilibrio de la mano (signos iguales para la mano izquierda / derecha) y se aplicó la segmentación manual, la normalización temporal y espacial.
• Datos formateados en AVI (video) y HDF5 (puntos clave) para la compatibilidad con los marcos de aprendizaje profundo.

Principales resultados:

• El conjunto de datos Sign4all ofrece un promedio de 323 muestras por signo, lo que reduce significativamente la escasez de datos.
• Equilibrio de la mano logrado, crucial para el desarrollo de modelos invariantes para señalar la mano.
• La validación técnica utilizando el Transformer y modelos esqueléticos confirmó la integridad del conjunto de datos.
• Demostró la necesidad de divisiones de aumento precomputadas para un entrenamiento efectivo del modelo.

Conclusiones:

• Sign4all proporciona un recurso valioso, de alta densidad y equilibrado para la investigación de reconocimiento de lenguaje de señas español.
• El diseño del conjunto de datos aborda directamente las limitaciones de los conjuntos de datos SLR anteriores.
• Sign4all apoya el avance de tecnologías inclusivas de interacción hombre-máquina para la comunidad sorda y con problemas de audición.