Mejorar y no reemplazar la experiencia clínica: mejorar el reconocimiento de la entidad nombrada en los informes de...

Área de la Ciencia:

• Procesamiento del lenguaje natural
• La informática médica
• Inteligencia artificial en el cuidado de la salud

Sus antecedentes:

• Los hallazgos de la colonoscopia suelen ser texto libre no estructurado, lo que dificulta el uso de datos secundarios para el monitoreo de calidad, la medicina personalizada y la investigación.
• El reconocimiento preciso de la entidad nombrada (NER) es crucial para extraer información clínica valiosa de estos informes de texto libre.

Objetivo del estudio:

• Comparar el rendimiento de los modelos NER entrenados con datos reales, sintéticos y mixtos de los informes de colonoscopia.
• Evaluar si los informes sintéticos que preservan la privacidad pueden mejorar la precisión de la extracción de información clínica.

Principales métodos:

• Se entrenaron tres modelos de CRF biLSTM de Spark NLP: ModelR (datos reales), ModelS (datos sintéticos) y ModelM (datos mixtos reales y sintéticos).
• Los modelos se evaluaron en informes de colonoscopía reales y sintéticos no vistos para siete tipos de entidades.
• Las métricas de rendimiento incluyeron precisión micro-promediada, recuerdo y puntuación F1, con pruebas de McNemar para la significación estadística.

Principales resultados:

• El modelo de datos mixtos (ModelM) logró el rendimiento más alto (F1 = 0,94), superando significativamente a los modelos de una sola fuente (ModelR F1 = 0,70, ModelS F1 = 0,64).
• El modelo R funcionó bien con datos reales (F1 = 0,90) pero mal con datos sintéticos (F1 = 0,47); el modelo S mostró la tendencia opuesta (F1 = 0,99 sintético, F1 = 0,33 real).
• El análisis estadístico confirmó la superioridad significativa del enfoque de datos mixtos.

Conclusiones:

• Los informes de colonoscopia sintética son un valioso complemento, pero no un sustituto de los datos anotados reales.
• El entrenamiento de modelos NER en una mezcla equilibrada de datos reales y sintéticos produce modelos sólidos y generalizables para estructurar informes de colonoscopia.
• Este enfoque apoya la vigilancia del cáncer colorrectal a gran escala y la preservación de la privacidad y las estrategias de seguimiento personalizadas.