ModuLoRA: ajuste fino de los LLM de 2 bits en las GPU de consumo mediante la integración con los cuantizadores...

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) requieren recursos computacionales sustanciales para el ajuste fino.
• Los métodos de ajuste fino existentes a menudo requieren hardware de gama alta, lo que limita la accesibilidad.
• La cuantización de baja precisión ofrece un camino para reducir las huellas de memoria, pero presenta desafíos de ajuste fino.

Objetivo del estudio:

• Desarrollar un algoritmo de ajuste fino eficiente en la memoria para los LLM.
• Para permitir el ajuste fino de los LLM con parámetros 65B en las GPU de calidad de consumo.
• Integrar cuantificadores de peso arbitrarios con adaptación de rango bajo para un ajuste fino flexible.

Principales métodos:

• Propuso ModuLoRA (adaptación modular de bajo rango), un nuevo enfoque de ajuste fino.
• Implementado un paso hacia atrás agnóstico de la cuantización para la materialización de peso de baja precisión adaptativa.
• Métodos de cuantización integrados de 2 bits QuIP# y 3 bits OPTQ.

Principales resultados:

• LLM ajustados con éxito con parámetros de 65B utilizando precisión de 2/3/4 bits en una sola GPU de 24 GB.
• Logró un rendimiento competitivo en la clasificación de textos, la inferencia del lenguaje natural y las tareas de seguimiento de instrucciones.
• Superó las puntuaciones ROUGE de última generación en las tareas de resumen, superando los métodos existentes de 4 y 8 bits.

Conclusiones:

• ModuLoRA reduce significativamente los requisitos de memoria para el ajuste fino de LLM.
• El método permite por primera vez el ajuste fino de LLM de alta precisión (2 bits, 3 bits).
• Lanzado ModuLoRA y modelos de baja precisión a través de la biblioteca LLMTools para una mayor accesibilidad.