Rx-LLM: un conjunto de pruebas para evaluar el rendimiento de modelos grandes de lenguaje seguros para tareas...

Área de la Ciencia:

• Inteligencia Artificial en Salud
• Informática Clínica
• Farmacología

Sus antecedentes:

• Los modelos grandes de lenguaje (LLM) requieren puntos de referencia especializados para la gestión segura de medicamentos.
• La Gestión Integral de Medicamentos (CMM) es el estándar para la optimización de medicamentos.
• Los LLM actuales necesitan evaluación para tareas clínicas de medicación.

Objetivo del estudio:

• Diseñar puntos de referencia alineados con CMM para la evaluación de LLM.
• Cuantificar el rendimiento base de los LLM líderes en tareas relacionadas con medicamentos.

Principales métodos:

• Desarrollaron seis puntos de referencia del proceso CMM: formulación, generación de órdenes, ruta, interacción farmacológica, dosis renal y concordancia de indicaciones.
• Crearon 250 pares de datos anotados por clínicos por punto de referencia.
• Evaluaron GPT-4o-mini, MedGemma-27B y LLaMA3-70B utilizando indicaciones de disparo cero y métricas específicas de la tarea.

Principales resultados:

• LLaMA3-70B lideró en formulación, generación de órdenes, ruta y concordancia de indicaciones.
• GPT-4o-mini logró la mayor precisión en la identificación de interacciones farmacológicas y el ajuste de dosis renal.
• La consistencia varió ampliamente entre modelos y tareas.

Conclusiones:

• El rendimiento de los LLM difiere significativamente entre las tareas relacionadas con medicamentos.
• LLaMA3-70B muestra potencial para tareas de formulación, pedidos, ruta y indicaciones.
• GPT-4o-mini demuestra potencial para interacciones farmacológicas y ajustes de dosis renales.
• La evaluación específica de la tarea es crucial para la implementación de LLM de apoyo a la toma de decisiones clínicas.