Modelos de lenguaje de gran tamaño para la extracción de CAD-RADS 2.0 de informes de angiografía coronaria...

Área de la Ciencia:

• La informática médica
• Inteligencia Artificial en Radiología
• Imágenes cardiovasculares

Sus antecedentes:

• Los informes de angiografía CT coronaria (CCTA) contienen datos críticos para el diagnóstico de la enfermedad arterial coronaria (CAD).
• El Sistema de Información y Datos de Enfermedades de las Arterias Coronarias (CAD-RADS) estandariza los informes de los hallazgos de la CCTA.
• La extracción automatizada de componentes CAD-RADS puede agilizar el flujo de trabajo y mejorar la consistencia de los datos.

Objetivo del estudio:

• Evaluar la exactitud de varios modelos de lenguaje de gran tamaño (LLM) en la extracción de componentes CAD-RADS 2.0 de los informes del CCTA.
• Evaluar el impacto de las diferentes estrategias de incitación, incluida la cadena de pensamiento (CoT), en el rendimiento del LLM.
• Comparar el rendimiento de múltiples LLM en un conjunto de datos multiinstitucional.

Principales métodos:

• Se elaboró un conjunto de datos multiinstitucionales de 319 informes sintéticos y semiestructurados de la CCTA.
• Los estándares de referencia para los componentes de CAD-RADS 2.0 (severidad de la estenosis, carga de placa, modificadores) fueron establecidos por radiólogos certificados por la junta.
• Se evaluaron seis LLM utilizando estrategias de disparo cero, pocos disparos y CoT.
• La precisión se midió utilizando la prueba de McNemar para la comparación estadística.

Principales resultados:

• Los LLM demostraron una alta precisión en la extracción de todos los componentes de CAD-RADS 2.0, con precisiones de severidad máxima de estenosis de hasta 0,980 (internas) y 0,946 (externas).
• La extracción de carga de placa logró una precisión casi perfecta (hasta 0,993 externamente), y la detección de modificadores fue consistentemente alta (≥0,990).
• La cadena de pensamiento (CoT) provocó una precisión significativamente mejorada para varios modelos, en particular GPT-4, de hasta 0,192 para la gravedad de la estenosis.

Conclusiones:

• Los grandes modelos de lenguaje muestran un potencial significativo para automatizar con precisión la extracción de los componentes CAD-RADS 2.0 de los informes CCTA.
• El uso de la cadena de pensamiento es una estrategia clave para mejorar el rendimiento de LLM en esta tarea.
• Estos hallazgos apoyan la integración de los LLM en los flujos de trabajo radiológicos para mejorar la eficiencia y la estandarización de los datos.