QuIP#: Cuantización LLM aún mejor con la incoherencia de Hadamard y los libros de código de la red

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático
• Ciencias de la computación

Sus antecedentes:

• La cuantización posterior al entrenamiento (PTQ) es crucial para reducir la huella de memoria de los grandes modelos de lenguaje (LLM).
• Los métodos PTQ existentes se enfrentan a desafíos en regímenes de compresión extremos (por ejemplo, ≤ 4 bits por peso).

Objetivo del estudio:

• Introducir el QuIP#, un nuevo método PTQ basado únicamente en el peso para la compresión extrema de LLM.
• Lograr resultados de vanguardia en la cuantización extrema mediante el empleo de tres técnicas innovadoras.

Principales métodos:

• Utilice la transformación aleatoria de Hadamard para mejorar el procesamiento de incoherencia.
• Emplear la cuantización vectorial con libros de códigos eficientes en hardware basados en la red E8 para pesos sub-gaussianos.
• Incorporar ajustes finos para mejorar la fidelidad al modelo original.

Principales resultados:

• QuIP# demuestra un rendimiento superior en comparación con los métodos PTQ existentes en compresión extrema.
• El método permite nuevos comportamientos de escala para PTQ.
• QuIP# soporta velocidades de inferencia muy rápidas.

Conclusiones:

• QuIP # representa un avance significativo en el PTQ solo de peso para los LLM.
• Las nuevas técnicas empleadas conducen a resultados de última generación en la compresión extrema.
• QuIP# ofrece una solución práctica para el despliegue de LLM altamente comprimidos de manera eficiente.