ReXVQA: Un punto de referencia a gran escala de respuesta a preguntas visuales para la comprensión general de...

Área de la Ciencia:

• Radiología e Inteligencia Artificial
• Análisis de Imágenes Médicas
• Procesamiento del Lenguaje Natural en Atención Médica

Sus antecedentes:

• Los puntos de referencia existentes de respuesta a preguntas visuales (VQA) para radiología torácica a menudo se basan en consultas basadas en plantillas.
• Existe la necesidad de un punto de referencia integral que refleje habilidades de razonamiento radiológico diversas y clínicamente auténticas.

Objetivo del estudio:

• Presentar ReXVQA, el punto de referencia más grande para VQA en radiología torácica.
• Evaluar el rendimiento de los modelos de lenguaje grandes multimodales (LLM) de última generación en tareas radiológicas clínicamente relevantes.
• Comparar el rendimiento de la IA con el de radiólogos expertos humanos.

Principales métodos:

• Se desarrolló ReXVQA con 481 694 preguntas y 160 000 estudios de radiografía de tórax.
• Se incluyeron cinco habilidades básicas de razonamiento radiológico: evaluación de presencia, análisis de ubicación, detección de negación, diagnóstico diferencial y razonamiento geométrico.
• Se evaluaron ocho LLM SOTA y se realizó un estudio de lectores humanos con 3 residentes de radiología senior.

Principales resultados:

• El mejor modelo, MedGemma, logró una precisión general del 83,24 % en el punto de referencia ReXVQA.
• MedGemma superó al mejor lector humano (77,27 % de precisión) en un estudio de lectores.
• Los modelos de IA mostraron patrones de rendimiento distintos en comparación con los lectores humanos, con una variabilidad en el acuerdo interlectores.

Conclusiones:

• ReXVQA establece un nuevo estándar para la evaluación de sistemas de IA radiológica generalista.
• El rendimiento de la IA ahora supera la evaluación humana en tareas de interpretación de radiografías de tórax, un hito importante.
• El punto de referencia facilita el desarrollo de sistemas de IA de próxima generación para el razonamiento clínico a nivel de experto.