Modelos de lenguaje grandes y reglas condicionales en sistemas de soporte de decisiones clínicas

Área de la Ciencia:

• Inteligencia Artificial en la Atención Médica
• Sistemas de Soporte de Decisiones Clínicas
• Procesamiento del Lenguaje Natural

Sus antecedentes:

• Los Sistemas de Soporte de Decisiones Clínicas (CDSS) mejoran las decisiones médicas, mejorando los resultados de los pacientes y la sostenibilidad de la atención médica.
• El desarrollo de reglas CDSS es costoso debido a los bucles de retroalimentación iterativa entre clínicos y desarrolladores, lo que afecta la disponibilidad de los clínicos para la atención al paciente.

Objetivo del estudio:

• Evaluar la efectividad de los Modelos de Lenguaje Grandes (LLM) y los Modelos de Razonamiento Grandes (LRM) en la generación de conjuntos de reglas de triaje para CDSS.
• Comparar los conjuntos de reglas generados por IA con un conjunto de reglas desarrollado por clínicos para la monitorización de pacientes con COVID-19.

Principales métodos:

• Se consultaron varios LLM (GPT-3.5, GPT-4, GPT-4o, Gemini, Claude 3.5 Sonnet) y LRM (GPT-o1-mini, Grok-4, Claude 4 Sonnet) utilizando diversas técnicas de prompting.
• Evaluación de la efectividad del conjunto de reglas en función de la precisión, la interpretabilidad y la complejidad de las reglas, en comparación con el CDSS del Sistema de Monitorización de Intervenciones Pandémicas (PiMS).

Principales resultados:

• Los LLM generaron reglas de cribado en lugar de reglas de triaje a menos que se especificaran las variables de PiMS; las reglas resultantes tuvieron menor interpretabilidad y complejidad, con una precisión que oscilaba entre el 31,62% y el 70,71%.
• Los LRM demostraron una interpretabilidad variable (3-94 frente a 41 de PiMS) y lograron una mayor precisión (31,62% a 81,70%) en comparación con los LLM.

Conclusiones:

• Los LLM están limitados para emular conjuntos de reglas clínicas debido a su simplicidad y falta de razonamiento complejo.
• Los LRM muestran una efectividad mejorada pero aún tienen limitaciones; tanto los LLM como los LRM pueden proporcionar conjuntos de reglas iniciales factibles, lo que reduce el tiempo de desarrollo.
• La investigación futura debería explorar la integración de LLM y LRM con árboles de decisión para mejorar la efectividad de los conjuntos de reglas CDSS.