Aprendizaje de Fourier de gráficos parcialmente sabios para el reconocimiento continuo del lenguaje de señas basado...

Área de la Ciencia:

• Ciencias de la computación
• Inteligencia artificial
• Interacción hombre-computadora

Sus antecedentes:

• El reconocimiento de lenguaje de señas se enfrenta a desafíos con las entradas RGB debido a los costos computacionales y la interferencia de ruido.
• Es difícil modelar con precisión la dinámica temporal no lineal y la asíncrona a través de las partes del cuerpo en lenguaje de signos.

Objetivo del estudio:

• Proponer un nuevo método de aprendizaje de Fourier basado en gráficos parciales (PGF-SLR) para el reconocimiento continuo del lenguaje de señas basado en esqueletos.
• Abordar las limitaciones de los métodos existentes mediante el modelado uniforme de las relaciones espacio-temporales de las partes del cuerpo.

Principales métodos:

• Construyó un gráfico de Fourier completamente conectado que trata las partes del cuerpo como nodos y la atención del dominio de frecuencia como bordes.
• Se empleó un método de mejora de frecuencia adaptativa para amplificar las características de acción discriminativa.
• Utilizó un módulo de aprendizaje de acción de doble rama con una rama de predicción auxiliar para una mejor comprensión.

Principales resultados:

• Se obtuvieron mejoras relativas de 3,31%/ 3,70% y 2,81%/ 7,33% en los conjuntos de datos de PHOENIX14 y PHOENIX14-T, respectivamente.
• Desempeño competitivo demostrado en el conjunto de datos CSL-Daily, que muestra una fuerte generalización.
• Reducción de los costos computacionales tanto en entornos offline como en línea.

Conclusiones:

• El método PGF-SLR propuesto captura efectivamente las dependencias espacio-temporales en el dominio de la frecuencia para el reconocimiento de la lengua de signos.
• PGF-SLR ofrece una solución ligera, robusta y eficiente desde el punto de vista computacional para el reconocimiento continuo del lenguaje de señas.
• El método muestra un potencial significativo para aplicaciones del mundo real que requieren una comprensión precisa y rápida del lenguaje de señas.