Los agentes múltiples orquestados mantienen la precisión bajo cargas de trabajo a escala clínica en comparación con...

Área de la Ciencia:

• Inteligencia artificial
• Informática clínica
• La medicina computacional

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) son prometedores para aplicaciones clínicas, pero requieren una evaluación bajo cargas de trabajo realistas.
• La escalabilidad y el rendimiento de las arquitecturas de agentes de LLM en entornos de atención médica no se entienden bien.
• Las tareas clínicas heterogéneas presentan desafíos únicos para los sistemas de LLM de un solo agente.

Objetivo del estudio:

• Comparar el rendimiento de los sistemas LLM de un solo agente frente a los de varios agentes para cargas de trabajo a escala clínica.
• Evaluar la precisión, la eficiencia y la latencia de LLM bajo diferentes tamaños de lote simulando el tráfico clínico.
• Evaluar el impacto del aislamiento de tareas en el rendimiento del LLM en un marco multi-agente.

Principales métodos:

• Se probaron dos configuraciones de LLM: un único agente y un sistema orquestado de múltiples agentes.
• Las tareas incluían la recuperación de datos, la extracción y los cálculos de dosificación, con tamaños de lote que iban de 5 a 80.
• Las métricas de rendimiento incluyeron precisión agrupada, uso de tokens y latencia, analizadas en cuatro puntos de control de LLM.

Principales resultados:

• Los sistemas multi-agente mantuvieron una alta precisión bajo carga (90,6% en 5 tareas, 65,3% en 80 tareas), mientras que la precisión de un solo agente disminuyó bruscamente (73,1% a 16,6%).
• Aparecieron diferencias significativas de rendimiento más allá de 10 tareas (p < 0,01) ajustado por FDR.
• La ejecución multi-agente redujo el uso de tokens hasta 65 veces y limitó el crecimiento de la latencia en comparación con las ejecuciones de un solo agente.

Conclusiones:

• La orquestación ligera de los agentes LLM es efectiva para cargas de trabajo a escala clínica.
• Los sistemas de agente múltiple ofrecen una precisión, eficiencia y capacidad de auditoría superiores en comparación con los LLM de agente único en el cuidado de la salud.
• El aislamiento de tareas en diseños multi-agente evita la interferencia del contexto y mantiene el rendimiento.