Permitir revisiones sistemáticas inclusivas: incorporar artículos preimpresos con evaluaciones basadas en grandes...

Área de la Ciencia:

• Investigaciones médicas
• Síntesis de las pruebas
• Comunicaciones científicas

Sus antecedentes:

• Las revisiones sistemáticas requieren evidencia oportuna, pero la calidad de la preimpresión varía.
• Los artículos de preimpresión aceleran la difusión del conocimiento, pero carecen de revisión por pares.
• La evaluación de la calidad de la preimpresión para revisiones sistemáticas es un desafío.

Objetivo del estudio:

• Desarrollar un marco automatizado para predecir la publicación de preprints.
• Mejorar la eficiencia y la precisión de la síntesis de la evidencia en las revisiones sistemáticas.
• Reducir la carga manual de la evaluación de la calidad de la preimpresión.

Principales métodos:

• Desarrollado el marco de AutoConfidenceScore (evaluación automatizada de la puntuación de confianza).
• Utilizó la extracción automatizada de datos a través del procesamiento del lenguaje natural.
• Incorporaciones semánticas y puntuaciones de evaluación basadas en el modelo de lenguaje grande (LLM).
• Empleó modelos aleatorios de bosque y curación de supervivencia para la predicción.

Principales resultados:

• El clasificador forestal aleatorio logró un AUROC de 0.747.
• El modelo de curación de supervivencia logró un AUROC de 0.731 para el resultado binario.
• El modelo de curación de supervivencia logró un índice de concordancia de 0,667 para el riesgo de tiempo hasta la publicación.

Conclusiones:

• AutoConfidenceScore hace avanzar la predicción de preimpresión a través de la extracción automatizada y la integración de características.
• La combinación de incorporaciones semánticas y evaluaciones de LLM mejora el rendimiento predictivo.
• Este marco puede facilitar la incorporación de preprints en revisiones sistemáticas, mejorando la utilización de los recursos.