Reconocimiento de Lengua de Señas Estática Basado en Pose con Aprendizaje Profundo para Lenguas de Señas Turca, Árabe...

Área de la Ciencia:

• Inteligencia Artificial; Visión por Computadora; Lingüística Computacional

Sus antecedentes:

• Los avances en inteligencia artificial mejoran la comunicación para personas con discapacidad auditiva.
• Los sistemas de reconocimiento de lengua de señas (SLR) multilingües son cruciales para cerrar las brechas de comunicación.
• Los marcos de SLR existentes a menudo carecen de robustez en diversos idiomas.

Objetivo del estudio:

• Presentar un marco robusto de reconocimiento de lengua de señas (SLR) multilingüe para el turco, el inglés estadounidense y el árabe.
• Comparar la eficacia de diferentes arquitecturas de aprendizaje profundo para SLR.
• Proporcionar información sobre la generalización de modelos para sistemas de SLR basados en poses.

Principales métodos:

• Se utilizó la biblioteca MediaPipe para la extracción eficiente de puntos de referencia de manos.
• Se construyeron conjuntos de datos diversos a partir de nueve fuentes de dominio público para lenguas de señas turca, inglesa estadounidense y árabe.
• Se realizó una evaluación comparativa de las arquitecturas ConvNeXt (basada en CNN), Swin Transformer (basada en ViT) y Vision Mamba (basada en SSM).

Principales resultados:

• Los Vision Transformers y los modelos de espacio de estados demostraron un rendimiento superior en la captura de señales espaciales.
• El marco logró una representación de características estable y consistente en todos los idiomas.
• El análisis comparativo resaltó las capacidades de generalización del modelo en distintas lenguas de señas.

Conclusiones:

• Los Transformers de visión y los modelos de espacio de estados contemporáneos son muy eficaces para la SLR multilingüe.
• El estudio ofrece información valiosa para la selección de modelos apropiados en sistemas de SLR basados en poses.
• El marco desarrollado mejora la accesibilidad de la comunicación para personas con discapacidad auditiva.