Automatización del proceso de extracción de datos para revisiones sistemáticas utilizando GPT-4o y o3

Área de la Ciencia:

• Inteligencia Artificial; Informática Biomédica; Ciencias de la Salud

Sus antecedentes:

• La automatización de la extracción de datos (DE) en revisiones sistemáticas (SR) es crucial para la eficiencia. Los métodos de DE automatizados existentes a menudo requieren una entrada manual significativa. Los modelos de lenguaje grandes (LLM) muestran potencial para mejorar la automatización de la DE.

Objetivo del estudio:

• Desarrollar y evaluar un sistema de DE totalmente automatizado y de código abierto utilizando GPT-4o para SR. Evaluar el rendimiento del sistema en diversos conjuntos de datos, incluidas variables de cadena y numéricas. Comparar la precisión del sistema automatizado con la extracción manual.

Principales métodos:

• Se desarrolló un sistema de DE de código abierto que aprovecha GPT-4o sin intervención humana durante la extracción. Se entrenó y optimizó el sistema en un conjunto de datos de 290 ensayos controlados aleatorizados (ECA). Se validó el sistema en dos conjuntos de datos independientes, incluida una búsqueda actualizada y un estudio publicado por separado.

Principales resultados:

• El sistema logró una alta exhaustividad en la detección de variables (93,5%), pero la precisión de las variables difirió entre los datos de cadena (mayor) y numéricos (menor). La validación externa inicial mostró una precisión media del 84,4% para GPT-4o. Los métodos ajustados de DE mejoraron la precisión al 96,3% en el conjunto de datos externo, comparable a la extracción manual.

Conclusiones:

• El sistema basado en GPT-4o muestra potencial para ayudar con la DE de variables de cadena en SR. El sistema actualmente no puede reemplazar completamente a los revisores humanos para la extracción de datos numéricos. Se necesita más investigación para establecer la aplicabilidad más amplia de este sistema de DE automatizado en diversos contextos de revisión.