Qué tan bien se desempeñan ChatGPT y Claude en la selección de estudios para la revisión sistemática en obstetricia

Área de la Ciencia:

• La informática médica
• Inteligencia artificial en el cuidado de la salud
• La medicina basada en la evidencia

Sus antecedentes:

• La IA generativa se explora cada vez más para la eficiencia de la revisión sistemática.
• Las pruebas actuales sobre el rendimiento de detección de IA no son concluyentes.
• Existen comparaciones directas limitadas entre diferentes modelos de IA.

Objetivo del estudio:

• Evaluar el ChatGPT-4o y el Claude 3.5 Sonnet en la selección de estudios de revisión sistemática en obstetricia.
• Para comparar el rendimiento de la IA con los investigadores humanos.

Principales métodos:

• La búsqueda sistemática de la literatura (PubMed, EMBASE, Cochrane CENTRAL, Disertaciones abiertas de EBSCO) es una de las principales herramientas de búsqueda de trabajos.
• Evaluación del título/resumen utilizando un enfoque basado en indicaciones que compara a los investigadores de IA y jóvenes con un investigador experimentado.
• Revisión del texto completo utilizando estrategias rápidas cortas y largas para la IA.
• Métricas de rendimiento: exactitud, sensibilidad, precisión, puntaje F1, valor predictivo negativo (VAN).

Principales resultados:

• Título / resumen de detección: Los investigadores humanos tuvieron la mayor precisión (0,9593) y puntuación F1 (0,3853), seguidos por Claude y ChatGPT. Todos mostraron un alto VAN.
• Cribado de texto completo: ChatGPT con un breve aviso logró la mayor precisión (0.904), puntuación F1 (0.90) y VAN (1.00), superando a Claude y a los investigadores humanos.

Conclusiones:

• Los modelos de IA generativa demuestran un rendimiento cercano al nivel humano en la selección de estudios de revisión sistemática.
• La IA muestra un potencial significativo, en particular en las etapas de revisión del texto completo.
• Se recomienda una mayor investigación para la integración de la IA en la síntesis de evidencia en varios campos.