ADAT: una novedosa arquitectura adaptativa de transformer para la traducción de lengua de signos

Área de la Ciencia:

• Ciencias de la Computación; Inteligencia Artificial; Procesamiento del Lenguaje Natural

Sus antecedentes:

• Los sistemas actuales de traducción de lengua de signos tienen dificultades con las dependencias temporales finas y el entrenamiento eficiente.
• Las arquitecturas Transformer, aunque efectivas para dependencias a largo plazo, son ineficientes para el reconocimiento de gestos de alta velocidad de fotogramas.

Objetivo del estudio:

• Presentar ADAT, una arquitectura de Transformer Adaptativo para mejorar la traducción automática de lengua de signos.
• Abordar las limitaciones en el reconocimiento de dependencias temporales de corto alcance y la complejidad de atención cuadrática en los modelos existentes.

Principales métodos:

• Se desarrolló ADAT, que combina extracción de características convolucionales, autoatención log-espaciada y adaptación adaptativa.
• Se evaluó ADAT en el corpus de lengua de signos médica RWTH-PHOENIX-Weather-2014 (PHOENIX14T), ISL-CSLTR y MedASL.

Principales resultados:

• ADAT mejoró las puntuaciones BLEU-4 en al menos un 0,1% en la traducción de signo a glosa a texto, reduciendo el tiempo de entrenamiento en un 21%.
• En la traducción de signo a texto, ADAT logró ganancias mínimas de BLEU-4 del 0,5% y una aceleración promedio del tiempo de entrenamiento del 21,8%.
• ADAT demostró una precisión al menos un 0,7% mayor que las bases de referencia solo con codificador y solo con decodificador en la traducción de signo a texto.

Conclusiones:

• ADAT modela eficientemente las dependencias temporales tanto a corto como a largo plazo en la lengua de signos.
• La arquitectura de Transformer Adaptativo propuesta ofrece una solución más precisa y eficiente para la traducción automática de lengua de signos.