LLM de impulso adaptativo para clasificación de texto

Área de la Ciencia:

• Procesamiento del Lenguaje Natural
• Inteligencia Artificial
• Aprendizaje Automático

Sus antecedentes:

• Los modelos de lenguaje a gran escala (LLM) muestran capacidades avanzadas en diversas tareas de PNL.
• Las crecientes capacidades de los LLM generan incertidumbre en el futuro de la investigación de la categorización de texto.
• La efectividad de los LLM específicamente para la clasificación de texto sigue siendo una pregunta abierta.

Objetivo del estudio:

• Investigar hasta qué punto ha avanzado la clasificación de texto utilizando LLM.
• Introducir un marco novedoso, el Transformador Generativo Pre-entrenado Recurrente (RGPT), para LLM dedicados a la clasificación de texto.

Principales métodos:

• RGPT es un marco de impulso adaptativo que crea una secuencia de aprendices base.
• Modula dinámicamente la distribución de los datos de entrenamiento y ajusta iterativamente los LLM.
• Los aprendices base se integran progresivamente utilizando trayectorias de predicción históricas para la especialización.

Principales resultados:

• RGPT demostró un rendimiento superior en comparación con ocho modelos de lenguaje pre-entrenados de última generación.
• Superó a siete LLM de vanguardia en cuatro conjuntos de datos de referencia.
• Se logró una ganancia de rendimiento promedio del 2,90 %.

Conclusiones:

• RGPT representa un avance significativo en LLM especializados para la clasificación de texto.
• El marco propuesto aprovecha eficazmente el potencial de LLM para mejorar la precisión de la categorización de texto.
• RGPT ofrece una dirección prometedora para la investigación futura en modelado de lenguaje especializado.