Modelos de lenguaje grandes mejorados con generación aumentada por recuperación para la categorización integral de...

Área de la Ciencia:

• Inteligencia artificial en imágenes médicas
• Informática radiológica
• Procesamiento del lenguaje natural en la atención médica

Sus antecedentes:

• La presentación de informes estructurados en la angiografía coronaria por tomografía computarizada (CCTA) es crucial para el diagnóstico y manejo precisos.
• Los modelos de lenguaje grandes (LLM) ofrecen potencial para automatizar la extracción de datos de informes clínicos.
• Es necesaria la evaluación del rendimiento de los LLM en la extracción de componentes y recomendaciones específicas de los informes CCTA.

Objetivo del estudio:

• Evaluar el rendimiento de los LLM estándar y basados en generación aumentada por recuperación (RAG) en la extracción de componentes y recomendaciones de manejo de informes CCTA.
• Comparar la precisión de diferentes LLM, incluidos ChatGPT-5, NotebookLM y un ChatGPT-5 adaptado a RAG, con las evaluaciones de radiólogos expertos.
• Evaluar la utilidad de los LLM para cumplir con las pautas del Sistema de Informes y Datos de Enfermedad de las Arterias Coronarias (CAD-RADS 2.0).

Principales métodos:

• Análisis de 320 informes estructurados de CCTA utilizando tres LLM: ChatGPT-5 estándar, NotebookLM (basado en RAG) y ChatGPT-5-RAG.
• Extracción de la categoría CAD-RADS, carga de placa, placa de alto riesgo (HRP), modificadores, puntuación completa y recomendaciones de manejo.
• Comparación de las salidas de LLM con un estándar de referencia establecido por dos radiólogos cardiovasculares expertos.

Principales resultados:

• ChatGPT-5-RAG demostró una precisión superior en todos los componentes evaluados de CAD-RADS 2.0, incluida la clasificación, la carga de placa, la detección de HRP y los modificadores.
• El ChatGPT-5 estándar exhibió el rendimiento más débil entre los modelos probados.
• Si bien el acuerdo sobre las recomendaciones de manejo fue bajo, ChatGPT-5-RAG y NotebookLM lograron calificaciones cualitativas casi perfectas.

Conclusiones:

• Los LLM mejorados con RAG mejoran significativamente la precisión y confiabilidad de la extracción de componentes CAD-RADS 2.0 y la generación de recomendaciones de manejo.
• Los LLM basados en RAG representan herramientas prometedoras para automatizar y estandarizar la presentación de informes CCTA dentro de los flujos de trabajo de radiología clínica.
• La explicabilidad y la innovación que ofrecen los LLM basados en RAG pueden mejorar la toma de decisiones clínicas en imágenes cardiovasculares.