De las puntuaciones a las ideas: Predicción de errores de traducción automática utilizando métricas fiables y...

Área de la Ciencia:

• Lingüística Computacional
• Procesamiento del Lenguaje Natural
• Evaluación de Traducción Automática

Sus antecedentes:

• La evaluación de la traducción automática (TA) es vital para idiomas de bajos recursos como el eslovaco.
• Los métodos automáticos actuales proporcionan una puntuación única, careciendo de información detallada sobre los errores.
• La evaluación de idiomas morfológicamente ricos presenta desafíos únicos.

Objetivo del estudio:

• Desarrollar una metodología informada lingüísticamente para predecir categorías de errores de TA.
• Mejorar la explicabilidad y fiabilidad de la evaluación automática de TA.
• Reducir el esfuerzo humano en la evaluación de calidad para idiomas complejos.

Principales métodos:

• Un marco modificado de Métricas Multidimensionales de Calidad (MQM) adaptado para el eslovaco.
• Integración de anotaciones manuales con 68 métricas de evaluación automática.
• Desarrollo de modelos de regresión logística bootstrap para predecir probabilidades de error.

Principales resultados:

• Identificación de cinco categorías de error lingüísticamente motivadas a través de anotación manual.
• Evaluación de la fiabilidad de 68 métricas automáticas utilizando medidas estadísticas.
• Predicción exitosa de las probabilidades de ocurrencia de errores de TA.

Conclusiones:

• La metodología propuesta cierra la brecha entre la puntuación holística y la categorización detallada de errores.
• Ofrece una mejor explicabilidad y fiabilidad en la evaluación de TA.
• Reducción significativa del esfuerzo humano manteniendo la precisión lingüística para la TA en eslovaco.