Un conjunto completo de datos de imágenes de los gestos de las manos en lenguaje de señas americano

Área de la Ciencia:

• Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador Visión por ordenador
• Interacción hombre-computadora Interacción hombre-computadora.
• Tecnología Asistiva Tecnología Asistiva

Sus antecedentes:

• Los conjuntos de datos existentes del lenguaje de señas americano (ASL, por sus siglas en inglés) carecen de suficiente diversidad y pueden no representar con precisión los caracteres alfanuméricos.
• La distinción entre la letra "O" del ASL y el dígito "0" es crucial para una comunicación clara, pero a menudo se pasa por alto en los conjuntos de datos.

Objetivo del estudio:

• Introducir ASL-HG, un conjunto de datos novedoso y completo para el reconocimiento de gestos del lenguaje de señas americano (ASL).
• Proporcionar un conjunto de datos equilibrado y diverso para facilitar el desarrollo de sistemas de reconocimiento de ASL sólidos y justos.
• Apoyar la investigación en tecnologías de asistencia y la interacción hombre-ordenador para la comunidad sorda y con discapacidad del habla.

Principales métodos:

• Recogió 36.000 imágenes estáticas en 36 clases (A-Z, 0-9) de 10 voluntarios en Bangladesh.
• Aseguró una representación equilibrada entre sujetos, géneros y tonos de piel, con 100 muestras por clase.
• Lanzó el conjunto de datos en dos formatos: imágenes en bruto y cultivos segmentados a mano procesados por MediaPipe con una división de prueba de tren.

Principales resultados:

• ASL-HG incluye 36.000 imágenes que cubren el alfabeto y los dígitos ingleses.
• El conjunto de datos diferencia explícitamente los signos ASL "O" y "0", mejorando la representación de la comunicación práctica.
• Proporcionó versiones de datos crudos y procesados para satisfacer diversas necesidades de investigación.

Conclusiones:

• ASL-HG sirve como un punto de referencia valioso para el avance de las tecnologías de reconocimiento de ASL.
• El conjunto de datos tiene como objetivo reducir las barreras de comunicación y promover la inclusión de las personas sordas y discapacitadas del habla.
• Facilita una investigación más amplia en la interacción humano-computadora basada en gestos y el desarrollo de herramientas de asistencia efectivas.