Comparación de un modelo especializado de lenguaje grande con GPT-4o para CT y resumen del informe de radiología de...

Área de la Ciencia:

• Radiología
• Inteligencia artificial
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los modelos de lenguaje grande de propósito general (LLM) como GPT-4o muestran potencial en radiología.
• El rendimiento comparativo de los LLM especializados frente a los LLM de uso general para el resumen de informes de radiología no está bien establecido.

Objetivo del estudio:

• Para comparar el rendimiento de resumen de un LLM especializado (LLM-RadSum) con GPT-4o para informes de radiología.
• Evaluar la coherencia, la seguridad y la utilidad clínica de los resúmenes generados.

Principales métodos:

• Se desarrolló LLM-RadSum utilizando un conjunto de datos retrospectivos del hospital (conjuntos de pruebas de formación/internos).
• Las puntuaciones F1 evaluadas en los ensayos internos y externos (informes de TC/IRM).
• Se llevó a cabo una evaluación humana de 1800 informes, comparando los resultados de LLM-RadSum y GPT-4o utilizando criterios como la consistencia de los hechos y la seguridad clínica.

Principales resultados:

• LLM-RadSum logró puntuaciones medianas de F1 más altas (0.58) en la evaluación humana en comparación con GPT-4o (0.30; P < .001).
• Más del 81,5% de las salidas de LLM-RadSum cumplían con los estándares expertos, mientras que el 27,8% de las salidas de GPT-4o requerían ajustes.
• LLM-RadSum mostró un rendimiento superior en varias modalidades, regiones anatómicas y demografía de pacientes.

Conclusiones:

• Un LLM especializado (LLM-RadSum) supera significativamente al GPT-4o de propósito general en el resumen de informes de radiología.
• LLM-RadSum proporciona resúmenes más consistentes, coherentes, seguros y clínicamente útiles.
• Los LLM especializados son más efectivos para tareas médicas específicas de PNL como el resumen de informes de radiología.