Desarrollo y Evaluación de un Pipeline para la Extracción de Datos Estructurados a partir de Informes Médicos de...

Área de la Ciencia:

• Informática Biomédica
• Procesamiento del Lenguaje Natural
• Oncología

Sus antecedentes:

• Los informes de patología contienen datos clínicos cruciales para el cáncer de mama (BC) pero son difíciles de estructurar a escala.
• Los métodos tradicionales de procesamiento del lenguaje natural (PLN) requieren una anotación y entrenamiento manuales extensos.
• Los modelos de lenguaje grandes (LLMs) ofrecen una solución potencial para la extracción automatizada de datos.

Objetivo del estudio:

• Investigar la eficacia del LLM Mistral Large para la extracción automática de tres biomarcadores clave de cáncer de mama (BC) de informes de patología no estructurados.
• Evaluar el rendimiento de un pipeline basado en LLM para la estructuración de datos clínicos.

Principales métodos:

• Se desarrolló y evaluó un pipeline que combina el LLM Mistral Large con una fase de posprocesamiento.
• Se evaluó el rendimiento en dos conjuntos de datos: 1152 informes de patología de BC y una base de datos de referencia de 101 pacientes con BC metastásico.
• Se exploró el impacto de las indicaciones de confianza (CP), la cadena de pensamiento (CoT) y los ejemplos few-shot en el rendimiento del pipeline.

Principales resultados:

• Se lograron puntuaciones F1 a nivel de documento >95% y recall/precisión >94% para el estado/puntuación del receptor de estrógeno, receptor de progesterona y HER2.
• Las puntuaciones F1 a nivel de paciente oscilaron entre 87%-90%, con un recall entre 83%-87% y una precisión >90%.
• El rendimiento del pipeline fue consistente independientemente de la inclusión de CP, CoT o ejemplos few-shot.

Conclusiones:

• Se demostró el potencial significativo de los LLMs como Mistral Large para extraer datos estructurados de biomarcadores de cáncer de mama de informes de patología.
• Se destacó la utilidad de los enfoques basados en LLM para la transformación digital de documentos de atención médica.