Por qué falla el razonamiento clínico de los modelos de lenguaje grandes: perspectivas desde el aprendizaje profundo explicable | JoVE Visualize

Área de la Ciencia:

Inteligencia Artificial Médica
Sistemas de Apoyo a la Decisión Clínica
Lingüística Computacional en Medicina

Sus antecedentes:

Los modelos de lenguaje grandes (LLM) médicos demuestran una alta precisión en los puntos de referencia, pero presentan una variabilidad y errores inexplicables en el razonamiento clínico.
Los autoencoders dispersos ofrecen un enfoque de interpretabilidad mecanicista para comprender la representación del conocimiento de los LLM y los modos de fallo en medicina.
Los puntos de referencia existentes pueden no capturar el espectro completo de estabilidad del razonamiento clínico necesario para un despliegue seguro de la IA.

Objetivo del estudio:

Evaluar la estabilidad del razonamiento clínico de distintas arquitecturas de LLM médicas (GPT-5, MedGemma-27B-Text-IT, OpenBioLLM-Llama3-70B) bajo perturbaciones sistemáticas.
Analizar cómo las diferentes arquitecturas de modelos codifican los términos médicos polisémicos utilizando autoencoders dispersos y experimentos de ablación.
Evaluar la eficacia de una intervención de recuperación para desambiguar los sentidos de los términos médicos y mejorar el rendimiento del modelo.

Principales métodos:

Se evaluó la estabilidad del razonamiento utilizando 355 perturbaciones sistemáticas en casos de oncología, comparando la estadificación y el tratamiento con las directrices de la NCCN y la AJCC.
Se entrenaron autoencoders dispersos con 1000 millones de tokens de notas clínicas de MIMIC-IV para analizar la codificación de términos médicos polisémicos.
Se realizaron 850 experimentos de ablación y se probó una intervención de recuperación en dos etapas para la desambiguación de sentidos.

Principales resultados:

Los modelos mostraron una drástica inestabilidad en el razonamiento; la precisión de la estadificación de OpenBioLLM varió del 45,9% al 99,1% según el formato de la indicación.
El análisis del autoencoder disperso reveló diferencias significativas en la codificación: MedGemma mostró un 77,8% de superposición de características entre los sentidos de las palabras, OpenBioLLM un 13,6%.
Una intervención de recuperación mejoró la desambiguación de MedGemma en un 10,2% pero perjudicó a OpenBioLLM en un 2,0%, lo que indica efectos de intervención específicos de la arquitectura.

Conclusiones:

Los sistemas de IA médicos exhiben una fragilidad en el razonamiento clínico no capturada por el rendimiento de los puntos de referencia, lo que pone de relieve la necesidad de una interpretabilidad más profunda.
Los modelos arquitectónicamente distintos codifican los conceptos médicos de manera diferente, lo que significa que las intervenciones efectivas para uno pueden perjudicar a otro.
La validación de la seguridad para la IA médica debe ser específica de la arquitectura, ya que la equivalencia de los puntos de referencia no garantiza la equivalencia funcional.