ORCH: múltiples análisis, una fusión: un orquestador determinista multiagente para el razonamiento de elección...

Área de la Ciencia:

• Inteligencia Artificial
• Procesamiento del Lenguaje Natural
• Aprendizaje Automático

Sus antecedentes:

• Los métodos multiagente y de conjunto mejoran el razonamiento de elección discreta en modelos de lenguaje grandes (LLM).
• Los métodos de orquestación actuales a menudo no son deterministas, son costosos y carecen de reproducibilidad.
• Existe la necesidad de estrategias de orquestación estables y eficientes para el razonamiento basado en LLM.

Objetivo del estudio:

• Presentar ORCH, un orquestador determinista multiagente para LLM.
• Mejorar la precisión y el rendimiento de los costos en tareas de razonamiento de elección discreta.
• Proporcionar un marco de orquestación estable y reproducible.

Principales métodos:

• ORCH emplea un grupo de agentes LLM heterogéneos.
• Se utiliza un mecanismo de enrutamiento determinista basado en el seguimiento del rendimiento del promedio móvil exponencial (EMA).
• Las respuestas candidatas de un subconjunto seleccionado de agentes se fusionan a través de una agregación controlada.

Principales resultados:

• ORCH logra mejoras consistentes en la precisión en comparación con las líneas de base de modelos únicos.
• Ofrece ganancias adicionales en comparación con las líneas de base de modelos únicos de alto costo.
• La canalización determinista mejora la estabilidad y reduce la dependencia de modelos costosos.

Conclusiones:

• El enrutamiento determinista guiado por EMA es una estrategia práctica y reproducible para el razonamiento de elección discreta.
• El marco ORCH muestra potencial para la extensión a diversas tareas y grupos de agentes.
• Este enfoque ofrece una solución estable y eficiente para la orquestación de LLM multiagente.