Video Experimental Relacionado
Updated: Sep 9, 2025
Author Spotlight: Advancing Alzheimer's Research – Exploring Early Detection and Multi-Omics Approaches
Published on: December 15, 2023
Aprovechar el aprendizaje profundo híbrido basado en la atención con representación combinada de características para
Abrar Almjally1,2, Shabbab Ali Algamdi3, Nasser Aljohani4
1Department of Information Technology, College of Computer and Information Sciences, Imam Mohammad Ibn Saud Islamic University (IMSIU), Riyadh, 13318, Saudi Arabia. aamjally@imamu.edu.sa.
Este estudio introduce un modelo avanzado de aprendizaje profundo para el reconocimiento preciso del lenguaje de señas (SLR, por sus siglas en inglés), con una precisión del 98,10%. El modelo mejora la comunicación para las personas con discapacidades auditivas o del habla al mejorar el reconocimiento de gestos en tiempo real.
Área de la Ciencia:
- Ciencias de la computación
- Inteligencia artificial
- Interacción hombre-computadora
Sus antecedentes:
- El reconocimiento de lenguaje de señas (SLR) es crucial para la accesibilidad de la comunicación para la comunidad sorda.
- Los modelos de aprendizaje profundo existentes para SLR enfrentan desafíos en cuanto a precisión y rendimiento en tiempo real.
- SLR implica el reconocimiento de las características manuales y no manuales complejas de las lenguas de signos.
Objetivo del estudio:
- Proponer un modelo de aprendizaje profundo híbrido impulsado por la atención con fusión de características para el reconocimiento preciso del lenguaje de señas (AHDLMFF-ASLR).
- Mejorar el reconocimiento de gestos en tiempo real para mejorar la comunicación de personas sordas y mudas.
- Lograr una precisión superior en el reconocimiento de lenguaje de señas en comparación con los modelos existentes.
Principales métodos:
- Preprocesamiento de imágenes mediante ecualización adaptativa de histogramas limitada por contraste (CLAHE) y detección de bordes difíciles (CED).
- Extracción de características que integra los modelos Swin Transformer (ST), ConvNeXt-Large y ResNet50.
- Clasificación mediante una técnica híbrida de red neuronal convolucional y memoria de corto plazo de larga duración con atención (C-BiL-A).
Principales resultados:
- El modelo AHDLMFF-ASLR logró una alta precisión del 98,10% en el conjunto de datos SL.
- Demostró un rendimiento superior en comparación con los modelos de reconocimiento de lenguaje de señas existentes.
- Integración efectiva de arquitecturas avanzadas de aprendizaje profundo para la extracción y clasificación de características.
Conclusiones:
- El modelo AHDLMFF-ASLR mejora significativamente la precisión y la eficiencia del reconocimiento de lenguaje de señas.
- Este modelo ofrece una solución prometedora para la asistencia de comunicación en tiempo real para la comunidad sorda y muda.
- El enfoque de aprendizaje profundo híbrido propuesto proporciona un marco sólido para tareas complejas de reconocimiento visual.
