Evaluación de la calidad metodológica de las revisiones sistemáticas utilizando grandes modelos de lenguaje...

Área de la Ciencia:

• La inteligencia artificial en la medicina
• La informática médica
• Investigación en Urología

Sus antecedentes:

• La evaluación de la calidad metodológica de las revisiones sistemáticas es crucial para la medicina basada en la evidencia.
• Los modelos generativos de lenguaje grande (LLM) ofrecen potencial para automatizar tareas analíticas complejas.

Objetivo del estudio:

• Evaluar la exactitud de los LLM generativos en la evaluación de la calidad metodológica de los SR urológicos.
• Para comparar la evaluación de la calidad basada en LLM con la evaluación de expertos humanos.

Principales métodos:

• Se evaluaron 114 SR urológicos por expertos humanos y un modelo personalizado de GPT.
• El GPT se sometió a tres iteraciones de evaluación de tiro cero y a un ensayo mejorado utilizando el impulso de la cadena de pensamiento.
• Las métricas de rendimiento incluían precisión, sensibilidad, especificidad y puntuación F1 frente a los juicios humanos.

Principales resultados:

• El GPT logró un 75% de congruencia general con los revisores humanos, con un 77% para los criterios críticos.
• La puntuación promedio de F1 fue de 0,66 y la validez interna fue alta, del 85%.
• Mejora de la congruencia de los criterios críticos al 91% y de la precisión general al 93%.

Conclusiones:

• Los LLM generativos demuestran una capacidad prometedora para la evaluación eficiente y precisa de la calidad de los SR en urología.
• Las herramientas basadas en LLM pueden racionalizar el proceso de revisión y apoyar la síntesis de evidencia.