Modelos Qwen TextCNN y BERT para la clasificación mejorada de noticias multietiqueta en aplicaciones móviles

Área de la Ciencia:

• Procesamiento del Lenguaje Natural
• Aprendizaje Automático para Aplicaciones Móviles

Sus antecedentes:

• Los sistemas de clasificación de noticias móviles son complejos y a gran escala.
• La evaluación de modelos tradicionales frente a Grandes Modelos de Lenguaje (LLMs) es crucial para optimizar la categorización de noticias móviles.

Objetivo del estudio:

• Realizar un estudio comparativo de modelos de clasificación tradicionales y LLMs para la categorización de noticias multietiqueta en aplicaciones móviles chinas.
• Evaluar el rendimiento de los clasificadores BERT, Qwen (ajustado por instrucciones y ajustado por LoRA), TextCNN, LSTM y MLP.

Principales métodos:

• Análisis comparativo de TextCNN, BERT y varios LLMs (Qwen).
• Evaluación de modelos utilizando técnicas de ajuste por instrucciones y ajuste fino de Adaptación de Rango Bajo (LoRA).
• Evaluación del rendimiento del clasificador en conjuntos de datos equilibrados y desequilibrados, centrándose en tareas de clasificación multietiqueta y binaria.

Principales resultados:

• Los modelos BERT demuestran un rendimiento superior en la clasificación multietiqueta en conjuntos de datos equilibrados.
• TextCNN es más efectivo para tareas de clasificación binaria.
• Los clasificadores LSTM y MLP logran una alta precisión con instrucciones de texto, superando a las incrustaciones aleatorias.

Conclusiones:

• La selección del modelo para la clasificación de noticias móviles requiere equilibrar las capacidades técnicas con las restricciones de implementación.
• A pesar de los desafíos del desequilibrio de clases (bajas puntuaciones macro F1), el análisis del rendimiento relativo valida los hallazgos.
• El estudio proporciona información sobre la optimización de la clasificación de noticias automotrices dentro de las aplicaciones móviles.