Modelos colaborativos de lenguaje grande (LLM) son todo lo que necesita para la selección en revisiones sistemáticas

Área de la Ciencia:

• Inteligencia artificial en investigación médica
• Procesamiento del lenguaje natural para la síntesis de evidencia

Sus antecedentes:

• Las revisiones sistemáticas (RS) requieren una rigurosa selección de estudios, un proceso a menudo limitado por el esfuerzo manual.
• El potencial de los modelos de lenguaje grande (LLM) para automatizar y mejorar la selección de RS sigue siendo en gran medida inexplorado.

Objetivo del estudio:

• Evaluar la efectividad de los LLM en la automatización del proceso de selección para revisiones sistemáticas.
• Comparar el rendimiento de los LLM individuales frente a los enfoques colaborativos de LLM.

Principales métodos:

• Un estudio observacional que utiliza datos etiquetados (títulos y resúmenes) de cinco RS.
• Se emplearon LLM individuales (GPT-4, Claude-3-Sonnet, Gemini-Pro-1.0) y estrategias colaborativas de LLM.
• Las métricas de rendimiento incluyeron precisión, precisión para la exclusión, recuperación para la inclusión y trabajo ahorrado en muestras (WSS).

Principales resultados:

• Los LLM individuales demostraron alta precisión para la exclusión (hasta 99,7%) y recuperación para la inclusión (hasta 96,6%).
• Los enfoques colaborativos de LLM, en particular el uso de GPT-4 y Claude-3S, lograron una precisión promedio superior (99,9%) y recuperación (98,5%).
• Los LLM colaborativos resultaron en un WSS promedio del 63,5%, significativamente mayor que los modelos individuales (45,2%).

Conclusiones:

• Los LLM colaborativos ofrecen una solución eficiente y de alto rendimiento para la selección de revisiones sistemáticas.
• Esta automatización apoya la actualización oportuna y continua de la síntesis de evidencia.
• La investigación futura debe explorar las capacidades de los LLM en diversos conjuntos de datos y modelos propietarios.