Modelos de lenguaje de gran tamaño para la extracción de CAD-RADS 2.0 de informes de angiografía coronaria semiestructurada: un estudio multiinstitucional | JoVE Visualize

Área de la Ciencia:

La informática médica
Inteligencia Artificial en Radiología
Imágenes cardiovasculares

Sus antecedentes:

Los informes de angiografía CT coronaria (CCTA) contienen datos críticos para el diagnóstico de la enfermedad arterial coronaria (CAD).
El Sistema de Información y Datos de Enfermedades de las Arterias Coronarias (CAD-RADS) estandariza los informes de los hallazgos de la CCTA.
La extracción automatizada de componentes CAD-RADS puede agilizar el flujo de trabajo y mejorar la consistencia de los datos.

Objetivo del estudio:

Evaluar la exactitud de varios modelos de lenguaje de gran tamaño (LLM) en la extracción de componentes CAD-RADS 2.0 de los informes del CCTA.
Evaluar el impacto de las diferentes estrategias de incitación, incluida la cadena de pensamiento (CoT), en el rendimiento del LLM.
Comparar el rendimiento de múltiples LLM en un conjunto de datos multiinstitucional.

Principales métodos:

Se elaboró un conjunto de datos multiinstitucionales de 319 informes sintéticos y semiestructurados de la CCTA.
Los estándares de referencia para los componentes de CAD-RADS 2.0 (severidad de la estenosis, carga de placa, modificadores) fueron establecidos por radiólogos certificados por la junta.
Se evaluaron seis LLM utilizando estrategias de disparo cero, pocos disparos y CoT.
La precisión se midió utilizando la prueba de McNemar para la comparación estadística.

Principales resultados:

Los LLM demostraron una alta precisión en la extracción de todos los componentes de CAD-RADS 2.0, con precisiones de severidad máxima de estenosis de hasta 0,980 (internas) y 0,946 (externas).
La extracción de carga de placa logró una precisión casi perfecta (hasta 0,993 externamente), y la detección de modificadores fue consistentemente alta (≥0,990).
La cadena de pensamiento (CoT) provocó una precisión significativamente mejorada para varios modelos, en particular GPT-4, de hasta 0,192 para la gravedad de la estenosis.

Conclusiones:

Los grandes modelos de lenguaje muestran un potencial significativo para automatizar con precisión la extracción de los componentes CAD-RADS 2.0 de los informes CCTA.
El uso de la cadena de pensamiento es una estrategia clave para mejorar el rendimiento de LLM en esta tarea.
Estos hallazgos apoyan la integración de los LLM en los flujos de trabajo radiológicos para mejorar la eficiencia y la estandarización de los datos.