La desconexión intención-ejecución en IA médica: el marco ReXecution para evaluar el rendimiento clínico en el mundo...

Área de la Ciencia:

• Inteligencia artificial en medicina
• Informática de radiología
• Sistemas de apoyo a la decisión clínica

Sus antecedentes:

• Los puntos de referencia actuales para los asistentes de IA médica a menudo carecen de relevancia clínica.
• Existe la necesidad de marcos de evaluación sólidos que reflejen los flujos de trabajo clínicos del mundo real.

Objetivo del estudio:

• Introducir el marco ReXecution para la evaluación centrada en el clínico de la IA médica.
• Evaluar la fiabilidad de los asistentes de IA en la interpretación de radiografías de tórax (CXR) en entornos clínicos realistas.

Principales métodos:

• Desarrollamos un conjunto de datos de 100 tareas curadas por expertos para la interpretación de CXR.
• Revisamos manualmente el rendimiento de dos modelos fundacionales (ChatGPTo3, MedGemma) en estas tareas.
• Evaluamos el rendimiento de la IA en función de la precisión en la interpretación de imágenes y la ejecución de tareas.

Principales resultados:

• Ambos modelos de IA evaluados demostraron un conocimiento médico significativo pero tuvieron dificultades con la interpretación de imágenes y la ejecución de tareas.
• Las salidas correctas se produjeron solo en el 5-10% de los casos, lo que indica una baja fiabilidad.
• Se observó una falta de concordancia crítica entre la comprensión abstracta de los conceptos de radiología y la ejecución fiable en imágenes médicas específicas.

Conclusiones:

• Los asistentes actuales de IA médica tienen limitaciones significativas en la interpretación de imágenes médicas y la ejecución precisa de tareas clínicas.
• El marco ReXecution revela una brecha entre el conocimiento conceptual de la IA y su aplicación práctica en radiología.
• El desarrollo y la evaluación futuros de la IA deben alinearse más estrechamente con las necesidades de los médicos del mundo real para una colaboración eficaz entre la IA y el médico.