Humanos y Modelos Lingüísticos Grandes en el Soporte de Decisiones Clínicas: Un Estudio con Calculadoras Médicas

Área de la Ciencia:

• Inteligencia Artificial en Medicina
• Sistemas de Soporte de Decisiones Clínicas
• Informática Médica

Sus antecedentes:

• Los modelos lingüísticos grandes (LLM) se evalúan cada vez más para el conocimiento médico, pero su utilidad en la toma de decisiones clínicas, específicamente para la selección de herramientas, no está clara.
• Evaluar la capacidad de los LLM para recomendar calculadoras médicas apropiadas es crucial para una práctica clínica segura y eficaz.

Objetivo del estudio:

• Evaluar el rendimiento de varios modelos lingüísticos grandes (LLM) en la recomendación de calculadoras médicas en comparación con el rendimiento humano.
• Identificar los tipos de errores que cometen los LLM al seleccionar calculadoras clínicas.

Principales métodos:

• Se probaron nueve LLM (código abierto, propietarios, específicos del dominio) en 1.009 preguntas de opción múltiple que cubrían 35 calculadoras clínicas.
• Se comparó el rendimiento de los LLM con el de anotadores humanos en un subconjunto de 100 preguntas.
• Se realizó un análisis de errores en los LLM de mayor rendimiento.

Principales resultados:

• El LLM de mejor rendimiento alcanzó una precisión del 66,0% en la respuesta a preguntas sobre calculadoras médicas.
• Los anotadores humanos alcanzaron una precisión media del 79,5%, superando a los LLM.
• Los errores de los LLM se debieron principalmente a la comprensión (49,3%) y a déficits de conocimiento sobre calculadoras (7,1%).

Conclusiones:

• Los modelos lingüísticos grandes (LLM) actuales no superan el rendimiento humano en la recomendación de calculadoras médicas para la toma de decisiones clínicas.
• Los LLM requieren una mejora significativa en la comprensión y el conocimiento médico para ser herramientas fiables para la selección de calculadoras clínicas.