Visión por computadora profunda con reconocimiento de lenguaje de señas basado en inteligencia artificial para ayudar...

Área de la Ciencia:

• Visión por computadora
• Inteligencia artificial
• Interacción hombre-ordenador

Sus antecedentes:

• El reconocimiento de la lengua de signos (LRS) es crucial para la integración de las personas sordas y con dificultades auditivas en las comunidades.
• El aprendizaje profundo (DL) y la visión por computadora (CV) han avanzado significativamente los métodos SLR.
• Las técnicas SLR existentes incluyen enfoques basados en guantes y enfoques basados en visión.

Objetivo del estudio:

• Desarrollar un sistema avanzado de detección y clasificación automática de la lengua de signos (SL).
• Mejorar la accesibilidad de la comunicación para las personas con discapacidad auditiva y del habla.
• Introducir un nuevo modelo de aprendizaje profundo basado en la optimización de Harris Hawk para el reconocimiento de lenguaje de señas (HHODLM-SLR).

Principales métodos:

• Preprocesamiento de imágenes mediante filtración bilateral (BF) para reducir el ruido.
• Extracción de características utilizando el modelo ResNet-152.
• Reconocimiento de lenguaje de signos realizado por un modelo bidireccional de memoria a corto plazo (Bi-LSTM).
• Optimización de hiperparámetros del modelo Bi-LSTM utilizando el algoritmo de optimización de Harris hawk (HHO).

Principales resultados:

• La técnica HHODLM-SLR demostró un rendimiento de clasificación superior.
• El modelo logró una alta precisión del 98,95% en el conjunto de datos SL.
• El análisis experimental confirmó la eficacia de la metodología frente a las técnicas existentes.

Conclusiones:

• El modelo HHODLM-SLR propuesto ofrece un avance significativo en el reconocimiento de la lengua de signos.
• Esta tecnología tiene el potencial de romper las barreras de comunicación para la comunidad sorda y con problemas de audición.
• La integración de HHO para el ajuste de hiperparámetros mejora la fiabilidad y la precisión de los sistemas SLR.