Una evaluación exhaustiva de los grandes modelos lingüísticos para la extracción de información de los registros...

Área de la Ciencia:

• Inteligencia artificial
• Informática clínica
• Procesamiento del lenguaje natural

Sus antecedentes:

• La extracción de información de los registros electrónicos de salud no estructurados (EHR) es un desafío debido a la variabilidad de la documentación.
• Los modelos generativos de lenguaje grande (LLM) ofrecen potencial para automatizar la extracción de información (IE), pero se enfrentan a limitaciones en entornos clínicos del mundo real como el cuidado residencial de ancianos (RAC).
• Las evaluaciones existentes a menudo pasan por alto la robustez, la imparcialidad y el sesgo en los datos clínicos no estructurados.

Objetivo del estudio:

• Desarrollar un marco de evaluación holístico para la IE clínica a partir de notas de enfermería de texto libre en el RAC australiano.
• Evaluar sistemáticamente 17 LLM para el reconocimiento de entidades con nombre (NER) y las tareas de resumen.
• Para evaluar el rendimiento de LLM teniendo en cuenta la precisión, la puntuación F1, la relevancia, la robustez, la equidad y el sesgo.

Principales métodos:

• Se evaluaron 17 LLM (generales y específicos para el cuidado de la salud) utilizando la generación aumentada de recuperación (RAG) y el aprendizaje de pocos disparos (de uno a cinco disparos).
• Centrado en dos tareas clínicas centrales de IE: reconocimiento de entidades nombradas (NER) y resumen de texto.
• Se aplicó un nuevo marco de evaluación que evalúa la precisión, la F1, la relevancia, la solidez, la equidad y el sesgo.

Principales resultados:

• LLaMA 3.1 logró una alta precisión (88,58%) y puntuaciones F1 (87,43%) para NER, y una fuerte F1 (88,18%) y relevancia (83,15%) para el resumen.
• La robustez fue baja (4,00% para NER, 4,31% para resumen), pero la imparcialidad fue excelente (99,9%) con un sesgo mínimo (0,11%).
• Los enfoques LLM y RAG específicos para el cuidado de la salud superaron a los modelos generales; las configuraciones óptimas de pocos disparos fueron de tres disparos para NER y cinco disparos para el resumen.

Conclusiones:

• Un marco de evaluación integral es crucial para evaluar las LLM en la IE clínica.
• Los LLM demuestran potencial para la IE clínica en el RAC, pero la robustez requiere mayor mejora.
• Los hallazgos apoyan la integración segura de la IA generativa en los sistemas de apoyo a las decisiones clínicas.