DeepSeek-R1 incentiva el razonamiento en LLM a través del aprendizaje por refuerzo

Área de la Ciencia:

• Inteligencia artificial
• Aprendizaje automático

Sus antecedentes:

• El razonamiento general es un desafío central en la IA.
• Los grandes modelos de lenguaje (LLM) y la cadena de pensamiento (CoT) son prometedores, pero requieren extensos datos humanos.
• Las capacidades actuales de LLM son insuficientes para tareas complejas de razonamiento.

Objetivo del estudio:

• Demostrar que el aprendizaje por refuerzo puro (RL) puede mejorar las capacidades de razonamiento de LLM.
• Para evitar la necesidad de trayectorias de razonamiento anotadas por humanos.
• Facilitar el desarrollo emergente de patrones avanzados de razonamiento en LLM.

Principales métodos:

• Implementación de un marco de aprendizaje por refuerzo puro (RL) para los LLM.
• Capacitación de los LLM que utilizan RL para incentivar los patrones de razonamiento emergentes.
• Evaluación del desempeño de los LLM formados en RL en tareas verificables.

Principales resultados:

• El marco RL facilitó patrones de razonamiento emergentes como la autorreflexión y la verificación.
• Los LLM formados con RL superaron a sus homólogos de aprendizaje supervisado en matemáticas, codificación y tareas STEM.
• Los patrones de razonamiento emergentes de los modelos grandes pueden mejorar las capacidades de los modelos más pequeños.

Conclusiones:

• El aprendizaje por refuerzo puro mejora efectivamente el razonamiento de LLM sin demostraciones humanas.
• Los LLM formados por RL muestran un rendimiento superior en tareas complejas y verificables.
• El marco RL desarrollado ofrece un método escalable para avanzar en el razonamiento de la IA y puede guiar modelos más pequeños.