Utilización de la inteligencia artificial para apoyar la evaluación de la calidad metodológica de las revisiones...

Área de la Ciencia:

• Inteligencia artificial en el cuidado de la salud
• Síntesis de las pruebas
• Metodología de la revisión sistemática

Sus antecedentes:

• La calidad metodológica heterogénea de las revisiones sistemáticas repercute en la toma de decisiones.
• Los grandes modelos lingüísticos (MLL) ofrecen un potencial para una evaluación eficiente de la calidad.
• La racionalización de la evaluación de la revisión sistemática ayuda al desarrollo de directrices.

Objetivo del estudio:

• Desarrollar y evaluar una herramienta basada en el LLM para evaluar la calidad metodológica de la revisión sistemática.
• Determinar la precisión y fiabilidad de los LLM en esta tarea.

Principales métodos:

• Se evaluaron ocho LLM (cinco de base, tres de ajuste fino) en 100 revisiones sistemáticas.
• Utilizó la herramienta ReMarQ validada por 27 elementos para la evaluación de la calidad.
• Comparó el rendimiento de LLM con los revisores humanos utilizando precisión, kappa y puntuación F1.

Principales resultados:

• Un modelo GPT-3.5 ajustado logró un alto rendimiento (precisión 96.5%, kappa 0.90, puntuación F1-0.91).
• Este modelo superó el 80% de precisión y 0,60 kappa para todos los elementos de ReMarQ.
• Se observó una gran coherencia en las evaluaciones repetidas por el LLM de mejor rendimiento.

Conclusiones:

• Los LLM muestran un potencial significativo para apoyar con precisión la evaluación de la calidad metodológica de la revisión sistemática.
• Las herramientas basadas en el LLM pueden mejorar la eficiencia y la fiabilidad de la evaluación de la síntesis de evidencia.
• Esta tecnología puede facilitar la incorporación de pruebas de alta calidad en las directrices clínicas.