Evaluación de grandes modelos de lenguaje para la radiología Título y resumen de la revisión sistemática

Área de la Ciencia:

• La inteligencia artificial en la investigación médica
• Revisiones sistemáticas de radiología
• Aplicaciones de procesamiento de lenguaje natural

Sus antecedentes:

• Las revisiones sistemáticas son cruciales para la síntesis de pruebas en radiología.
• La automatización de la selección de títulos y resúmenes con grandes modelos lingüísticos (LLM) podría mejorar la eficiencia.
• La evaluación del rendimiento, la estabilidad y la toma de decisiones del LLM en este contexto es esencial.

Objetivo del estudio:

• Evaluar el rendimiento, la estabilidad y la toma de decisiones de varios LLM para el cribado de revisión sistemática de radiología.
• Investigar el impacto del encuadre rápido y la calibración de confianza en la precisión del LLM.
• Evaluar la solidez del LLM cuando se enfrenta a desacuerdos y explorar las capacidades de búsqueda autónoma.

Principales métodos:

• Se compararon cinco LLM (GPT-4o, GPT-4o mini, Gemini 1.5 Pro, Gemini 2.0 Flash, Llama 3.3 70B) en dos revisiones sistemáticas de radiología.
• Las tareas incluyeron la clasificación binaria / ternaria, la puntuación de confianza y la reclasificación de desacuerdos.
• La recuperación autónoma de PubMed fue pilotada utilizando las herramientas OpenAI y Gemini Deep Research.

Principales resultados:

• Los LLM demostraron una alta especificidad pero una sensibilidad variable, con puntuaciones F1 que oscilaron entre 0,389 y 0,854.
• La clasificación ternaria arrojó bajas tasas de abstención (< 5%) y ganancias de sensibilidad modestas.
• Los modelos exhibieron sesgo de autoridad, favoreciendo las etiquetas humanas en los desacuerdos, aunque GPT-4o mostró más resistencia.

Conclusiones:

• Los LLM muestran potencial para el cribado de revisión sistemática en radiología.
• La ingeniería cuidadosa y rápida y la supervisión humana en el bucle son fundamentales para una aplicación confiable de LLM.
• Se necesita más investigación para optimizar la integración de LLM y abordar los sesgos en la toma de decisiones.