Ajuste de Instrucciones Multifase y Multitarea para la Traducción Automática Consciente del Contexto Basada en LLM

Área de la Ciencia:

• Procesamiento del Lenguaje Natural
• Traducción Automática
• Inteligencia Artificial

Sus antecedentes:

• Los métodos actuales de traducción automática (MT) consciente del contexto que utilizan modelos de lenguaje grandes (LLM) a menudo procesan los contextos intrasentenciales e intersentenciales de manera uniforme.
• Este enfoque indiferenciado pasa por alto los roles distintos que desempeñan estos contextos para lograr traducciones precisas.

Objetivo del estudio:

• Proponer una estrategia novedosa, el ajuste de instrucciones multifase (MPT), que permita a los LLM distinguir entre contextos intrasentenciales e intersentenciales para mejorar la MT.
• Mejorar la capacidad del modelo para aprovechar las dependencias intersentenciales para obtener traducciones más coherentes y contextualmente relevantes.

Principales métodos:

• MPT divide la tarea de MT en tres fases distintas: codificación del contexto intersentencial, codificación de la oración de origen y decodificación final.
• Cada fase utiliza instrucciones continuas únicas para guiar el enfoque del LLM.
• Se empleó un enfoque de ajuste fino multitarea con tareas auxiliares (traducción agnóstica al contexto, generación de oraciones siguientes multilingües) para enfatizar la diferenciación del contexto y las dependencias intersentenciales.

Principales resultados:

• La estrategia MPT propuesta permite a los LLM procesar los contextos intrasentenciales e intersentenciales de forma distinta.
• El ajuste fino multitarea mejora la capacidad del modelo para capturar y utilizar las dependencias intersentenciales.
• Los métodos mejoran el manejo de los desafíos relacionados con el discurso en la traducción automática.

Conclusiones:

• El ajuste de instrucciones multifase (MPT) ofrece un enfoque más matizado para la traducción automática consciente del contexto con LLM.
• Diferenciar los tipos de contexto y enfatizar las dependencias intersentenciales conduce a sistemas de MT más efectivos.
• Esta estrategia es prometedora para avanzar en el campo del procesamiento del lenguaje natural y la traducción automática.