Más allá de los estándares de oro humanos: Un marco multimodel para la clasificación automatizada de resúmenes y la...

Área de la Ciencia:

• Inteligencia Artificial en Medicina; Síntesis de Evidencia; Metarecerca

Sus antecedentes:

• La metarecerca y la síntesis de evidencia requieren muchos recursos.; Los modelos de lenguaje grandes (LLM) muestran promesa pero tienen un rendimiento variable.; Los problemas de confiabilidad en la síntesis de evidencia asistida por LLM dificultan la adopción.

Objetivo del estudio:

• Desarrollar y evaluar un marco basado en el acuerdo utilizando LLM pequeños y de código abierto para tareas de metarecerca.; Evaluar el rendimiento del marco en comparación con los estándares de oro humanos y los LLM grandes.; Determinar si el acuerdo LLM puede mejorar la precisión y reducir la carga de trabajo manual en las revisiones sistemáticas.

Principales métodos:

• Se implementó un marco basado en el acuerdo con múltiples LLM pequeños (<10 mil millones de parámetros).; Se probó en 1020 resúmenes de ensayos controlados aleatorizados de reumatología para la clasificación y la extracción del número de pacientes.; Se desarrolló un estándar de oro mejorado reexaminando los resúmenes con desacuerdo entre LLM y humanos.

Principales resultados:

• El marco de acuerdo logró precisiones superiores al 95%, superando los estándares de oro humanos en el 85% de los resúmenes.; Las combinaciones de modelos (p. ej., 3/5, 4/6, 5/7 LLM) demostraron un rendimiento sólido.; Los modelos de bajo rendimiento contribuyeron con menos decisiones aceptadas, mitigando los problemas de variabilidad del rendimiento.

Conclusiones:

• El marco basado en el acuerdo ofrece una solución escalable para la selección de resúmenes en revisiones sistemáticas.; Este enfoque puede reducir significativamente la carga de revisión manual manteniendo una alta precisión y reproducibilidad.; La experiencia humana se puede reservar para casos complejos, optimizando la asignación de recursos en la síntesis de evidencia.