Anotado manual de los criterios de Robson y entidades obstétricas: acuerdo entre anotadores e implementación inicial...

Área de la Ciencia:

• La informática médica
• Obstetricia y ginecología
• Procesamiento del lenguaje natural

Sus antecedentes:

• La clasificación precisa del parto utilizando los criterios de Robson es esencial para la gestión y la investigación de la atención obstétrica.
• La extracción manual de la información pertinente de los registros electrónicos de salud (EHR, por sus siglas en inglés) requiere mucho tiempo y es propensa a errores.
• El desarrollo de métodos automatizados para la extracción de información puede mejorar la eficiencia y la consistencia en el análisis de datos obstétricos.

Objetivo del estudio:

• Crear un conjunto de datos anotados manualmente para la clasificación de los criterios de Robson, incluidas las variables obstétricas, los medicamentos y los resultados.
• Formar y evaluar varios modelos de reconocimiento de entidades con nombre (NER, por sus siglas en inglés) para extraer información de los DSE obstétricos.
• Comparar el rendimiento de diferentes modelos de NER, incluidos los enfoques tradicionales de aprendizaje automático y aprendizaje profundo.

Principales métodos:

• Se anotó manualmente un conjunto de datos de 1.865 registros electrónicos de salud (EHR) para entidades relacionadas con los criterios de Robson.
• El acuerdo entre anotadores se evaluó utilizando puntuaciones F1 y Kappa, logrando una alta confiabilidad (F1: 0.86-0.93, Kappa: 0.89-0.94).
• Varios modelos de NER (CRF, BERT, RoBERTa, XLM-RoBERTa, Llama 3.1-8B-Instruct) fueron entrenados y evaluados en esquemas de 23 y 46 etiquetas.

Principales resultados:

• El modelo de campos aleatorios condicionales (CRF) logró la mayor precisión (0,69-0,74).
• Los modelos RoBERTa y XLM-RoBERTa demostraron un recuerdo superior (0,70-0,76) y puntuaciones F1 (0,65-0,72) en ambos esquemas de etiquetado.
• Los modelos de aprendizaje profundo, especialmente RoBERTa y XLM-RoBERTa, superaron a los métodos tradicionales en la precisión general de la extracción de información.

Conclusiones:

• El conjunto de datos anotados desarrollado es un recurso valioso para la capacitación y la evaluación de los modelos NER en obstetricia.
• Los modelos avanzados de aprendizaje profundo como RoBERTa y XLM-RoBERTa son efectivos para la extracción automatizada de información obstétrica de los EHR.
• Este trabajo facilita un análisis de datos más eficiente y preciso para la clasificación de los criterios de Robson y la investigación obstétrica.