Modelos óptimos de lenguaje grande para filtrar citas en revisiones sistemáticas

Área de la Ciencia:

• Inteligencia Artificial
• Informática Médica
• Investigación en Servicios de Salud

Sus antecedentes:

• Los modelos de lenguaje grande (LLM) prometen automatizar el filtrado de citas en revisiones sistemáticas.
• La eficiencia comparativa de diferentes LLM para esta tarea no está bien establecida.
• Las revisiones sistemáticas son cruciales para la medicina basada en evidencia, pero consumen mucho tiempo.

Objetivo del estudio:

• Comparar la precisión, eficiencia, costo y consistencia de cuatro LLM (GPT-4o, Gemini 1.5 Pro, Claude 3.5 Sonnet, Llama 3.3 70B) en el filtrado de citas.
• Evaluar el impacto de un enfoque de conjunto que utiliza múltiples LLM en el rendimiento del filtrado.
• Evaluar el potencial de los LLM para optimizar los flujos de trabajo de revisión sistemática.

Principales métodos:

• Se utilizaron cuatro LLM para filtrar citas de preguntas clínicas de las Guías de Práctica Clínica Japonesas para Sepsis y Shock Séptico 2024.
• Se calcularon la sensibilidad, especificidad, tiempo de filtrado, costo y consistencia para cada LLM.
• Un análisis post hoc examinó el efecto de combinar las salidas de los LLM.

Principales resultados:

• GPT-4o y Llama 3.3 70B demostraron alta especificidad pero baja sensibilidad.
• Gemini 1.5 Pro y Claude 3.5 Sonnet lograron mayor sensibilidad con menor especificidad.
• GPT-4o fue el más rápido, Llama 3.3 70B fue el más rentable y la consistencia fue similar entre los modelos.
• Un enfoque de conjunto mejoró la sensibilidad pero aumentó los falsos positivos.

Conclusiones:

• Los LLM individuales ofrecen fortalezas distintas para el filtrado de citas, ahorrando tiempo y reduciendo la carga de trabajo.
• Si bien los LLM optimizan el filtrado, el manejo de falsos positivos sigue siendo un desafío.
• La combinación de LLM puede mejorar la sensibilidad, destacando su potencial para optimizar los procesos de revisión sistemática.