Efectos de retrotraducción en las incorporaciones de palabras estáticas y contextuales para la clasificación de temas

Área de la Ciencia:

• Procesamiento del lenguaje natural
• Aprendizaje automático

Sus antecedentes:

• La clasificación por temas es crucial para organizar los datos de texto.
• Las técnicas de aumento de datos como la retrotraducción pueden mejorar el rendimiento del modelo.
• Es esencial evaluar estas técnicas en diferentes tipos de incrustación de palabras.

Objetivo del estudio:

• Evaluar el impacto de la retrotraducción en el rendimiento de la clasificación de temas.
• Para comparar su eficacia en los vectores de palabras estáticas (FastText) frente a las incrustaciones contextuales (RoBERTa).
• Determinar los beneficios para los lenguajes de bajo recurso y varios algoritmos de clasificación.

Principales métodos:

• Los experimentos utilizaron regresión logística, SVM, bosque aleatorio y clasificadores RNN-LSTM.
• Los conjuntos de datos se aumentaron utilizando la traducción hacia atrás en seis idiomas.
• El rendimiento se evaluó utilizando puntuaciones F1, comparando los datos originales y aumentados.

Principales resultados:

• La retrotraducción mejoró consistentemente las puntuaciones F1 para las incorporaciones estáticas (hasta el 2,80% para el Bosque Aleatorio).
• Las mejoras para RNN-LSTM con incrustaciones estáticas fueron menores y a menudo no fueron estadísticamente significativas.
• La retrotraducción tuvo un impacto insignificante en las incorporaciones contextuales de RoBERTa, no mostrando ganancias significativas en la puntuación F1.

Conclusiones:

• La retrotraducción es una valiosa estrategia de aumento de datos para la incorporación de palabras estáticas en la clasificación de temas, particularmente para los idiomas de bajos recursos.
• Los modelos contextuales modernos como RoBERTa demuestran un alto rendimiento con menos dependencia del aumento externo.
• La utilidad de la retrotraducción es limitada para modelos avanzados conscientes del contexto.