Desempeño de ChatGPT y DeepSeek en el tratamiento de la incontinencia urinaria después de la prostatectomía

Área de la Ciencia:

• La informática médica
• Inteligencia artificial en el cuidado de la salud
• Sistemas de apoyo a la toma de decisiones clínicas

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) están surgiendo como herramientas valiosas para el apoyo a la toma de decisiones clínicas.
• Las aplicaciones de IA en medicina ofrecen una recuperación de información rápida y accesible.
• El tratamiento de la incontinencia urinaria después de la prostatectomía requiere el cumplimiento de las directrices clínicas establecidas.

Objetivo del estudio:

• Comparar el rendimiento de ChatGPT y DeepSeek LLMs en la generación de recomendaciones de gestión para PPUI.
• Evaluar la exactitud del asesoramiento generado por el LLM en comparación con la guía AUA/SUFU.
• Evaluar la utilidad de diferentes LLM en el apoyo a la decisión clínica para una condición urológica específica.

Principales métodos:

• Desarrollo de 20 preguntas coherentes con las directrices (10 conceptuales, 10 basadas en casos) sobre PPUI por expertos en urología.
• Petición de disparo cero de ChatGPT-4o y DeepSeek R1 utilizando las preguntas formuladas.
• Puntuación independiente de las respuestas de LLM (limitadas a 200 palabras) basada en la precisión de la guía (correcta, parcialmente correcta, incorrecta).

Principales resultados:

• ChatGPT logró una puntuación general significativamente más alta (95,0%) en comparación con DeepSeek (72,5%; p = 0,031).
• ChatGPT demostró un rendimiento superior en escenarios basados en casos (10,0 frente a 6,5) y preguntas conceptuales (9,0 frente a 8,0).
• DeepSeek exhibió errores críticos, incluidas recomendaciones de tratamiento inadecuadas para perfiles específicos de pacientes.

Conclusiones:

• ChatGPT exhibe una capacidad superior en la entrega de recomendaciones basadas en directrices para la gestión de PPUI.
• Ambos LLM requieren supervisión clínica experta para la integración segura en los flujos de trabajo de atención médica.
• Es necesaria una mayor investigación para perfeccionar el rendimiento del LLM y optimizar su aplicación en la práctica clínica.