Detección de calidad del informe CTA de cabeza y cuello inteligente con modelos de lenguaje grandes
Video Experimental Relacionado
Updated: Sep 10, 2025
03:14
Augmenting Large Language Models via Vector Embeddings to Improve Domain-Specific Responsiveness
Published on: December 6, 2024
681
Liping Tian1,2, Yao Lu1,2, Xiaolu Fei3
1Department of Radiology and Nuclear Medicine, Xuanwu Hospital, Capital Medical University, Beijing, 100053, China.
Journal of imaging informatics in medicine
|August 27, 2025
Resumen
Los modelos de lenguaje grande (LLM) como GPT-4 pueden detectar con precisión errores en los informes de angiografía CT de cabeza y cuello (CTA), mejorando significativamente la eficiencia del control de calidad de la radiología.
Área de la Ciencia:
- Radiología
- Inteligencia artificial
- La informática médica
Sus antecedentes:
- El control de calidad de los informes radiológicos es crucial para la seguridad del paciente y el diagnóstico eficaz.
- La automatización de la detección de errores en los informes radiológicos puede mejorar la eficiencia y la precisión.
- Los modelos de lenguaje grande (LLM) son prometedores en el análisis de textos médicos.
Objetivo del estudio:
- Evaluar el rendimiento de GPT-4, ERNIE Bot y SparkDesk en la identificación de errores comunes en los informes de angiografía computarizada de cabeza y cuello (CTA).
- Evaluar el potencial de los LLM para apoyar los procesos de control de calidad de los informes radiológicos chinos.
- Comparar la eficiencia y la precisión de los LLM con la revisión manual para la evaluación de la calidad de los informes.
Principales métodos:
- Recogí 15.000 informes de CTA de la cabeza y el cuello de dos conjuntos de datos.
- Se han identificado seis tipos de errores comunes y se han desarrollado métodos de detección basados en el LLM.
- Evaluación de la calidad del informe mediante una escala de Likert de 5 puntos y pruebas estadísticas (Wilcoxon rank-sum, Friedman, ICC, ANOVA).
- Evalúa el rendimiento del modelo utilizando la precisión, el recuerdo y la puntuación F1.
Principales resultados:
- Los LLM lograron una precisión de detección de más del 95% para seis tipos de errores comunes en el conjunto de datos 2.
- Las tasas de detección de errores fueron menores en los informes finales en comparación con los informes preliminares.
- GPT-4 demostró una consistencia moderada con las puntuaciones manuales (ICC=0,517), mientras que ERNIE Bot y SparkDesk mostraron una consistencia ligeramente menor.
- Los LLM evaluaron los informes significativamente más rápido que los revisores humanos.
Conclusiones:
- Los LLM pueden identificar eficazmente los tipos de error y diferenciar la calidad del informe en los informes de CTA de cabeza y cuello.
- Estos modelos ofrecen una mejora significativa en la eficiencia de las revisiones de control de calidad.
- Los LLM tienen un importante valor de investigación y práctico para mejorar la garantía de calidad de los informes radiológicos.
