Identificación de idiomas de bajos recursos en oraciones de código mixto de inglés y Kokborok

Área de la Ciencia:

• Lingüística Computacional
• Procesamiento del Lenguaje Natural
• Tecnologías de Idiomas de Bajos Recursos

Sus antecedentes:

• El uso de texto multilingüe requiere la detección automática de idiomas.
• El cambio de código y la mezcla de códigos son prevalentes en muchos idiomas, incluidos los idiomas indios.
• La investigación existente a menudo pasa por alto pares de idiomas de bajos recursos.

Objetivo del estudio:

• Desarrollar un modelo no supervisado para la identificación del idioma a nivel de palabra.
• Abordar el desafío específico de detectar idiomas en texto de código mixto de inglés-Kokborok.
• Ser pionero en la identificación de idiomas para pares de idiomas de bajos recursos.

Principales métodos:

• Un enfoque híbrido que combina un diccionario de frecuencia con un modelo de n-gramas de caracteres.
• Utilización de la técnica de Viterbi para integrar un modelo de Markov de n-gramas de caracteres y un léxico de frecuencia.
• Un método no supervisado diseñado para escenarios de bajos recursos.

Principales resultados:

• Se logró una precisión a nivel de palabra del 93,15% para la identificación del idioma inglés-Kokborok.
• Superó al modelo BiLSTM-CRF (88,5%) y a una línea de base basada en reglas (85,3%).
• Demostró la eficacia de combinar métodos léxicos y estadísticos.

Conclusiones:

• El modelo no supervisado propuesto es eficaz para la detección de idiomas a nivel de palabra en entornos de bajos recursos.
• La combinación de enfoques léxicos y estadísticos es una estrategia viable para idiomas de bajos recursos.
• Este trabajo proporciona un método fundamental para analizar texto de código mixto en pares de idiomas no abordados previamente.