Preguntas Clave: Evaluación de Modelos de Lenguaje Grandes en el Desarrollo de Plantillas de Consulta Clínica

Área de la Ciencia:

• Inteligencia Artificial en Medicina
• Informática Clínica
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• Las consultas electrónicas (eConsults) facilitan la comunicación eficiente entre médicos.
• Las plantillas estructuradas son cruciales para un intercambio de información clínica claro y conciso.
• Los modelos de lenguaje grandes (LLM) muestran potencial para automatizar la generación de plantillas.

Objetivo del estudio:

• Evaluar la capacidad de los LLM de vanguardia para generar plantillas de consulta clínica estructuradas.
• Evaluar la coherencia clínica, la concisión y la priorización de las plantillas generadas por LLM.
• Identificar las limitaciones de los LLM actuales en la producción de esquemas de eConsult clínicamente relevantes.

Principales métodos:

• Se utilizaron 145 plantillas de eConsult elaboradas por expertos del equipo de eConsult de Stanford.
• Se evaluaron LLM de vanguardia, incluidos o3, GPT-4o, Kimi K2, Claude 4 Sonnet, Llama 3 70B y Gemini 2.5 Pro.
• Se empleó un pipeline de agentes múltiples con optimización de prompts, autocalificación semántica y análisis de priorización.

Principales resultados:

• Los modelos lograron una alta integralidad (hasta 92,2%) pero generaron plantillas demasiado largas.
• Los LLM no lograron priorizar eficazmente las preguntas clínicamente importantes dentro de las restricciones de longitud.
• El rendimiento varió según la especialidad médica, con una degradación notable en psiquiatría y medicina del dolor.

Conclusiones:

• Los LLM prometen mejorar el intercambio estructurado de información clínica.
• Los LLM actuales requieren métodos de evaluación mejorados que se centren en la saliencia clínica y la priorización.
• Abordar las restricciones de longitud y los matices específicos de la especialidad es fundamental para la aplicación de LLM en el mundo real en eConsults.