Un conjunto de datos morfológicos anotados para las formas de palabras uzbekas: hacia enfoques basados en reglas y aprendizaje automático

Área de la Ciencia:

• Lingüística computacional
• Procesamiento del lenguaje natural
• Lexicografía

Sus antecedentes:

• Disponibilidad limitada de recursos anotados para lenguas morfológicamente ricas como el uzbeko.
• Necesidad de conjuntos de datos estandarizados para evaluar algoritmos de análisis morfológico uzbekos.
• Importancia de la información morfológica para las tareas posteriores de PNL.

Objetivo del estudio:

• Introducir un nuevo conjunto de datos anotados manualmente para el análisis morfológico uzbeko.
• Proporcionar un punto de referencia para evaluar las diferentes técnicas de análisis morfológico uzbeko.
• Facilitar los avances en el PNL uzbeko.

Principales métodos:

• Creación de un conjunto de datos con 3022 formas de palabras uzbekas anotadas manualmente.
• La anotación incluye información sobre la raíz, el afijo y la parte del discurso.
• Implementación y comparación de un algoritmo de derivación basado en reglas y un modelo de campos aleatorios condicionales (CRF).

Principales resultados:

• Creación exitosa y publicación del conjunto de datos morfológicos de Uzbekistán.
• Análisis comparativo de enfoques basados en reglas y aprendizaje automático para el análisis morfológico uzbeko.
• Las pruebas de género en textos legales, político-económicos y educativos demostraron la generalización.

Conclusiones:

• El conjunto de datos anotados sirve como un recurso fundamental para la investigación de PNL de Uzbekistán.
• El estudio proporciona información sobre la efectividad de diferentes métodos de análisis morfológico para uzbekos.
• La investigación futura puede aprovechar este conjunto de datos para aplicaciones como la generación de texto y la corrección gramatical.