Evaluación de IA multimodal comercial para el cribado de la retinopatía diabética e implicaciones para una vía...

Área de la Ciencia:

• Inteligencia artificial médica
• Oftalmología
• Aprendizaje automático en la atención médica

Sus antecedentes:

• La IA autónoma para exámenes oculares diabéticos está validada pero infrautilizada.
• Los modelos de IA generativa comerciales disponibles en el mercado (OTSAI) se están probando sin validación en el mundo real.
• Los OTSAI muestran promesa en el razonamiento médico, lo que genera interés en el uso clínico.

Objetivo del estudio:

• Evaluar el rendimiento diagnóstico de cuatro OTSAI líderes en el examen ocular diabético.
• Comparar el rendimiento de OTSAI con los puntos de referencia de expertos humanos y los estándares regulatorios.

Principales métodos:

• Se evaluaron cuatro OTSAI (GPT-4o, GPT-4o-mini, Grok, Gemini) en el conjunto de datos Messidor-2.
• Se utilizó un estándar de referencia de nivel 3 para la evaluación del rendimiento.
• El área bajo la curva característica operativa del receptor (AUC) fue la métrica principal.

Principales resultados:

• GPT-4o logró el AUC más alto (0.83), seguido de Grok (0.63).
• No se pudo calcular el AUC para Gemini.
• El rendimiento de OTSAI (AUC más alto 0.83) no igualó al de los especialistas en retina (AUC estimado 0.94) ni a los puntos finales de la FDA.

Conclusiones:

• Los OTSAI actuales no cumplen los estándares de rendimiento de los expertos clínicos para el examen ocular diabético.
• Una posible vía regulatoria para los OTSAI puede implicar licencias específicas para roles de asistencia.
• La validación rigurosa de la seguridad y la eficacia es crucial para la implementación clínica de la IA, similar a la regulación de dispositivos médicos y asistentes médicos.