Aceleración de la velocidad y precisión de las revisiones sistemáticas mediante IA: un estudio de validación

Área de la Ciencia:

• Informática médica; Inteligencia artificial en la atención sanitaria; Metodología de revisión sistemática

Sus antecedentes:

• La inteligencia artificial (IA) ofrece posibles mejoras de eficiencia en las revisiones sistemáticas de literatura y metaanálisis. La precisión de las herramientas de IA en la selección de títulos/resúmenes y artículos de texto completo sigue siendo incierta.

Objetivo del estudio:

• Evaluar las métricas de rendimiento de un programa de IA GPT-4, Review Copilot. Comparar el rendimiento de la IA con las decisiones humanas (estándar de oro) en la selección de artículos de revisión sistemática.

Principales métodos:

• Se utilizaron datos de participantes de cuatro revisiones sistemáticas/metaanálisis publicados. Se comparó la sensibilidad y especificidad de Review Copilot con la selección humana de títulos/resúmenes y artículos de texto completo. Se analizaron el tiempo de selección, el acuerdo entre ejecuciones y las estadísticas kappa.

Principales resultados:

• Review Copilot logró una sensibilidad del 99,2 % y una especificidad del 83,6 % para la selección de títulos/resúmenes. La sensibilidad de la selección de texto completo fue del 97,6 %, con una especificidad del 47,4 %. La selección por IA fue cuatro veces más rápida que la selección humana, con un acuerdo del 95,4 % entre ejecuciones.

Conclusiones:

• La IA es cada vez más integral en las revisiones sistemáticas y metaanálisis. Comprender las capacidades y limitaciones de la IA es crucial para la investigación ética y las decisiones sanitarias basadas en la evidencia.