Evaluación de la recuperación de generación aumentada de grandes modelos de lenguaje para responder preguntas sobre...

Área de la Ciencia:

• La informática médica
• La inteligencia artificial en la medicina
• Aplicación de las directrices clínicas

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) son prometedores para la recuperación de información médica.
• La respuesta precisa a las preguntas basadas en directrices médicas complejas sigue siendo un desafío.
• La generación aumentada de recuperación (RAG) ofrece una solución potencial para mejorar el rendimiento de LLM.

Objetivo del estudio:

• Evaluar la eficacia de los LLM mejorados con RAG para responder a las preguntas relacionadas con las directrices neurovasculares alemanas.
• Comparar el rendimiento de diferentes LLM con y sin integración de RAG.
• Analizar el rendimiento de recuperación de varias estrategias para la información de las directrices médicas.

Principales métodos:

• Cuatro LLM (GPT-4o-mini, Llama 3.1, Mixtral 8×22B, Claude 3.5 Sonnet) fueron probados con RAG.
• GPT-4o-mini sin RAG sirvió como línea de base.
• Las respuestas fueron validadas por expertos y las estrategias de recuperación se evaluaron utilizando un conjunto de datos sintéticos.

Principales resultados:

• Claude 3.5 Sonnet demostró la mayor precisión (70,6%) entre los LLM mejorados con RAG.
• RAG mejoró significativamente el rendimiento de LLM en comparación con los modelos sin RAG (precisión del 20,0%).
• Los errores de recuperación constituyeron el 80% de las respuestas incorrectas, con BM25 superando a los métodos basados en vectores.

Conclusiones:

• RAG aumenta sustancialmente la precisión de LLM para las preguntas y respuestas de la guía médica, aunque persisten las tasas de error.
• Las mejoras adicionales en las métricas de precisión y confianza son cruciales para el despliegue clínico.
• Los LLM generales muestran un gran rendimiento en preguntas y respuestas médicas no en inglés sin capacitación especializada.