DeepSeek-R1 vs OpenAI o1 para diagnósticos y planes de gestión oftalmológicos

Área de la Ciencia:

• Oftalmología
• Inteligencia artificial
• Apoyo a la decisión clínica

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) se exploran cada vez más para la toma de decisiones clínicas.
• Pocos estudios han evaluado el rendimiento de LLM en casos complejos de oftalmología de la práctica clínica.
• Evaluar el peso abierto frente a los LLM patentados es crucial para la utilidad clínica y la accesibilidad.

Objetivo del estudio:

• Para comparar la precisión del diagnóstico y la toma de decisiones de gestión de DeepSeek-R1 y OpenAI o1.
• Evaluar la rentabilidad de estos LLM en oftalmología.
• Comprender el rendimiento de los LLM de peso abierto mejorados por el razonamiento en escenarios clínicos complejos.

Principales métodos:

• Evaluación transversal de DeepSeek-R1 y OpenAI o1 utilizando instrucciones estandarizadas (Plan y Solución Plus).
• Utilizó 422 casos clínicos complejos de los artículos de desafío clínico de JAMA Oftalmología en 10 subespecialidades.
• Evaluación de la precisión del diagnóstico, la precisión de la toma de decisiones en el siguiente paso y los costos simbólicos.

Principales resultados:

• DeepSeek-R1 demostró una mayor precisión de diagnóstico (70,4%) que OpenAI o1 (63,0%) (P=.02).
• DeepSeek-R1 también mostró una precisión de decisión superior en el siguiente paso (82,7%) en comparación con OpenAI o1 (75,8%) (P=.01).
• DeepSeek-R1 ofreció costos significativamente más bajos, con ahorros de hasta el 98,5%.

Conclusiones:

• DeepSeek-R1 superó a OpenAI o1 en precisión de diagnóstico y manejo para casos oftalmológicos.
• Los LLM de peso abierto, como DeepSeek-R1, presentan una solución rentable y escalable para el apoyo a las decisiones clínicas.
• Se necesitan más investigaciones sobre la seguridad y las adaptaciones específicas del dominio para una integración clínica óptima.