Mejora de modelos de lenguaje grandes implementables y que preservan la privacidad para la detección de...

Área de la Ciencia:

• Inteligencia artificial en medicina
• Procesamiento del lenguaje natural clínico
• Informática de la atención médica

Sus antecedentes:

• Las complicaciones perioperatorias representan un desafío significativo para la salud mundial, y los métodos manuales de detección presentan tasas sustanciales de subregistro (27%) y clasificación errónea.
• El despliegue de Modelos de Lenguaje Grandes (LLM) clínicos se ve obstaculizado por preocupaciones sobre la privacidad de los datos, altos costos computacionales y el rendimiento subóptimo de los modelos implementables localmente.

Objetivo del estudio:

• Desarrollar y validar un marco utilizando ingeniería de prompts dirigida y ajuste fino de Adaptación de Rango Bajo (LoRA) para mejorar las capacidades de diagnóstico de LLM más pequeños y de código abierto para la detección y calificación de la gravedad de las complicaciones perioperatorias.
• Evaluar el rendimiento de los LLM optimizados frente a expertos humanos y evaluar su robustez a las variaciones en la complejidad de la documentación clínica.

Principales métodos:

• Se estableció un marco de validación de doble centro para identificar y calificar simultáneamente 22 severidades distintas de complicaciones perioperatorias.
• Se aplicó ingeniería de prompts dirigida, incluido el prompting de Cadena de Pensamiento, y ajuste fino de LoRA a LLM más pequeños de código abierto.
• Se evaluó el rendimiento utilizando puntuaciones F1 en diferentes cuartiles de longitud de documentación y se comparó entre modelos de IA y expertos humanos.

Principales resultados:

• Los LLM optimizados, en particular los modelos de 4B y 8B parámetros, demostraron una precisión de nivel experto en la identificación y calificación de complicaciones perioperatorias, superando el modelo de 8B el rendimiento de los expertos humanos (F1 > 0.70).
• La estrategia dirigida mejoró significativamente el rendimiento del modelo (ΔF1=0.256 para el modelo de 4B), con mejoras adicionales de LoRA (ΔF1=0.103 para el modelo de 4B), elevando el micro-F1 del modelo de 4B a 0.64 en validación externa.
• Los modelos de IA exhibieron una robustez superior a la complejidad de la documentación, manteniendo altas puntuaciones F1 (F1 > 0.64) mientras que el rendimiento de los expertos humanos disminuyó significativamente (de 0.73 a 0.45).

Conclusiones:

• La ingeniería de prompts dirigida combinada con el ajuste fino de LoRA transforma eficazmente los LLM más pequeños de código abierto en herramientas de diagnóstico clínico de alto rendimiento para complicaciones perioperatorias.
• Estos modelos pequeños optimizados ofrecen una solución práctica para entornos de atención médica con recursos limitados, permitiendo una precisión de nivel experto con implementación local y soberanía de datos preservada.
• El estudio destaca una vía viable para aprovechar la IA en entornos clínicos, abordando desafíos críticos en la detección y manejo de complicaciones.