MedAgentBench v2: Mejorando el Diseño de Agentes LLM Médicos

Área de la Ciencia:

• Inteligencia artificial en la atención médica
• Informática clínica
• Procesamiento del lenguaje natural (PLN)

Sus antecedentes:

• Evaluar agentes de modelos de lenguaje grandes (LLM) en entornos clínicos es un desafío.
• Los benchmarks existentes carecen de integración de registros de salud electrónicos (HCE) compatible con FHIR.
• Los agentes LLM anteriores tuvieron dificultades con tareas clínicas complejas e interacciones con HCE.

Objetivo del estudio:

• Presentar MedAgentBench, el primer benchmark para agentes LLM en tareas clínicas dentro de un HCE compatible con FHIR.
• Presentar ingeniería de prompts mejorada, diseño de herramientas y un componente de memoria para agentes LLM.
• Desarrollar nuevas tareas impulsadas clínicamente para evaluar la generalización del agente y la aplicabilidad en el mundo real.

Principales métodos:

• Se desarrolló MedAgentBench con un HCE compatible con FHIR.
• Se implementaron técnicas de ingeniería de prompts, incluido el razonamiento cadena de pensamiento y ejemplos few-shot.
• Se introdujeron herramientas mejoradas para la interacción con HCE, formato de salida y cálculos, además de un componente de memoria.

Principales resultados:

• El agente LLM logró una tasa de éxito del 91.0% sin memoria y del 98.0% con memoria utilizando GPT-4.1.
• El agente demostró un rendimiento mejorado en tareas sin entradas de memoria, lo que sugiere adaptabilidad.
• Se desarrollaron 300 nuevas tareas clínicas de varios pasos en colaboración con un médico para una evaluación integral.

Conclusiones:

• Las mejoras significativas en el diseño de agentes LLM mejoran el rendimiento en tareas clínicas de HCE.
• El componente de memoria y la ingeniería de prompts son cruciales para altas tasas de éxito.
• Se necesita un mayor desarrollo de agentes HCE y benchmarks para la implementación responsable de IA en la atención médica.