Evaluar modelos de lenguaje de código abierto a escala media: hacia el apoyo a la decisión en un contexto de...

Área de la Ciencia:

• La inteligencia artificial en la medicina
• Sistemas de apoyo a la toma de decisiones clínicas

Sus antecedentes:

• La oncología de precisión requiere conocimientos actualizados para casos complejos de pacientes.
• La preparación de casos para tableros de tumores moleculares (MTB) es muy laboriosa.
• Los grandes modelos de lenguaje (LLM) ofrecen el potencial de racionalizar la recuperación de información para los MTB.

Objetivo del estudio:

• Evaluar la utilidad de los LLM de escala media para responder preguntas clínicas en la preparación del MTB.
• Evaluar el rendimiento de los LLM locales utilizando hardware de consumo para el manejo de datos confidenciales.

Principales métodos:

• Se seleccionaron tres LLM basándose en criterios de referencia y capacidades de razonamiento.
• Los expertos en el campo proporcionaron preguntas ejemplares relacionadas con el MTB.
• Los expertos evaluaron la calidad y la exactitud de las respuestas generadas por el LLM.

Principales resultados:

• En general, el rendimiento de LLM fue modesto, y se identificaron problemas significativos.
• Un alto porcentaje de las respuestas contenía información obsoleta, incompleta o errónea.
• Se observó una discordancia entre los evaluadores y unos niveles de confianza variables.

Conclusiones:

• Los LLM de escala media actualmente no son confiables para aplicaciones de oncología de precisión.
• La información desactualizada y la información errónea de confianza ponen de relieve una brecha entre el rendimiento de referencia y el del mundo real.
• La investigación futura debe explorar técnicas avanzadas como RAG y búsqueda en la web, priorizando la seguridad del paciente.