CeRTS: búsqueda de fichas de recuperación de certeza en un modelo de lenguaje grande para la extracción de...

Área de la Ciencia:

• Inteligencia artificial
• Procesamiento del lenguaje natural
• Informática clínica

Sus antecedentes:

• Los grandes modelos lingüísticos (LLM) requieren una estimación sólida de la incertidumbre para aplicaciones clínicas, especialmente en la extracción de información de los registros electrónicos de salud.
• Los estimadores de incertidumbre existentes a nivel de token son limitados ya que solo consideran probabilidades dentro de una sola secuencia de salida.

Objetivo del estudio:

• Desarrollar y evaluar un nuevo estimador de incertidumbre para la extracción estructurada de información utilizando LLM.
• Aprovechar las restricciones de la estructura de salida JSON para considerar todas las secuencias probables y sus probabilidades para una medida más precisa de la confianza del modelo.

Principales métodos:

• El CeRTS se evaluó con un estimador de incertidumbre estándar de oro en ocho LLM de código abierto.
• Las características clínicas se extrajeron de los resúmenes de alta de cáncer de pulmón.
• El rendimiento se cuantificó utilizando la calibración (puntuación de Brier) y la discriminación (AUROC).

Principales resultados:

• El CeRTS demostró un poder discriminatorio superior en comparación con el estimador anterior en todos los LLM evaluados.
• El CeRTS logró una mejor calibración en la mayoría de los casos, lo que indica una mayor fiabilidad.
• El acuerdo más fuerte entre la confianza y la precisión del modelo se observó con el modelo Qwen-2.5.

Conclusiones:

• El CeRTS proporciona puntajes de confianza bien calibrados para la extracción de información basada en LLM del texto clínico, ofreciendo a los investigadores una medida de confiabilidad cuantitativa.
• Si bien en general es robusto, CeRTS se enfrentó a desafíos con el modelo DeepSeek-R1, potencialmente debido a su razonamiento de cadena de pensamiento.
• El método CeRTS es aplicable a cualquier ámbito que requiera una estimación fiable de la incertidumbre más allá de los datos clínicos.