¿Puede la IA escribir informes como un radiólogo? Una evaluación ciega de informes de resonancia magnética de columna...

Área de la Ciencia:

• Radiología
• Inteligencia artificial
• Informática médica

Sus antecedentes:

• Los modelos de lenguaje grandes (LLM) son cada vez más capaces de generar informes médicos.
• La utilidad clínica y la calidad de los informes de RM de columna lumbar generados por LLM en comparación con los informes escritos por radiólogos requieren evaluación.
• Evaluar la distinguibilidad de los informes generados por IA frente a los escritos por humanos es crucial para comprender su integración en la práctica clínica.

Objetivo del estudio:

• Comparar la calidad y la utilidad clínica de los informes de RM de columna lumbar generados por LLM con los informes escritos por radiólogos.
• Determinar si los profesionales médicos pueden diferenciar entre informes de RM de columna lumbar generados por IA y escritos por humanos.
• Evaluar el papel potencial de los LLM en la mejora de la eficiencia de los informes de radiología y la fiabilidad del diagnóstico.

Principales métodos:

• Un estudio retrospectivo que involucró 125 informes anonimizados de RM de columna lumbar (104 escritos por humanos, 21 generados por LLM).
• Cinco profesionales médicos evaluaron ciegamente los informes utilizando una escala Likert de cinco puntos para la relevancia clínica, claridad, exhaustividad, precisión diagnóstica e inteligibilidad.
• Los evaluadores también clasificaron los informes como generados por IA o escritos por humanos, y la precisión se midió por las tasas de clasificación correctas.

Principales resultados:

• Los informes escritos por radiólogos recibieron puntuaciones medianas significativamente más altas en todos los dominios evaluados (p < 0.001).
• No se observaron diferencias significativas en la descripción de las técnicas de imagen (p > 0.175).
• La precisión de la identificación de los informes generados por IA varió entre los evaluadores, con un radiólogo certificado que logró una precisión del 88.0%.

Conclusiones:

• Los informes de RM de columna lumbar escritos por radiólogos demuestran una calidad y estructura superiores en comparación con los informes generados por LLM actuales.
• Algunos informes generados por LLM fueron indistinguibles de los escritos por humanos, particularmente para lectores no especialistas.
• Los LLM muestran potencial para apoyar a los radiólogos en la redacción estructurada, mejorar la eficiencia del flujo de trabajo y mantener la fiabilidad diagnóstica bajo supervisión.