Una teoría de la escala de cómputo de inferencia: razonamiento a través de la búsqueda estocástica dirigida de...

Área de la Ciencia:

• Inteligencia Artificial; Aprendizaje Automático; Lingüística Computacional

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) exigen recursos computacionales y energéticos sustanciales para el entrenamiento y la implementación.; Los costos de inferencia son una preocupación creciente, especialmente para tareas de razonamiento complejas, que pueden ser pasadas por alto por los modelos actuales de optimización de cómputo.; Los marcos existentes a menudo analizan el tamaño del modelo, el tamaño del conjunto de datos y los tokens de inferencia de forma aislada, omitiendo puntos de operación eficientes.

Objetivo del estudio:

• Introducir la Búsqueda Estocástica Dirigida de Habilidades (DS3), un nuevo marco para optimizar la inferencia de LLM.; Proporcionar una comprensión teórica unificada de las interdependencias entre el entrenamiento y la inferencia de LLM.; Permitir el diseño algorítmico y la asignación de recursos basados en principios para una IA sostenible.

Principales métodos:

• Representación de la inferencia de LLM como una traversal estocástica sobre un grafo de habilidades aprendido.; Derivación de expresiones de forma cerrada para el éxito de la tarea y el costo de cómputo para diversas estrategias de inferencia como Chain-of-Thought (CoT) y Tree-of-Thought (ToT).; Extensión de marcos de grafos previos para abarcar tanto el entrenamiento como la inferencia de LLM, conectando DS3 con leyes de escalado empíricas.

Principales resultados:

• El marco DS3 recupera teóricamente los patrones observados, incluido el escalado lineal de la precisión con el logaritmo del cómputo.; Se demostró una variación en las estrategias óptimas de inferencia según la dificultad de la tarea y la capacidad del modelo.; Se unificaron las estrategias de inferencia Best-of-N y Majority Voting (MV) dentro de un único marco.

Conclusiones:

• DS3 ofrece una comprensión teórica más profunda de la eficiencia de la inferencia de LLM.; El marco apoya elecciones de diseño basadas en principios para algoritmos y asignación de recursos en IA.; Destaca la importancia de considerar las interdependencias entre entrenamiento e inferencia para el desarrollo de una IA sostenible.