Cuando la IA se une a la mesa: evaluación del rendimiento de los modelos lingüísticos grandes en las decisiones del...

Área de la Ciencia:

• Oncología
• Inteligencia artificial en medicina
• Informática médica

Sus antecedentes:

• Los comités multidisciplinarios de tumores (MDT) son esenciales para el manejo personalizado del sarcoma de tejidos blandos (STB).
• Los MDT actuales enfrentan limitaciones que incluyen restricciones de tiempo, costo y recursos.
• Los modelos lingüísticos grandes (LLM) presentan una vía potencial para aumentar los flujos de trabajo de los MDT.

Objetivo del estudio:

• Evaluar el rendimiento clínico de ChatGPT-4o en la generación de recomendaciones de tratamiento para casos reales de STB.
• Comparar las sugerencias de ChatGPT-4o con las decisiones de expertos de MDT utilizando criterios predefinidos.
• Evaluar el rendimiento de LLM en diferentes dominios de la atención oncológica y subtipos de sarcoma.

Principales métodos:

• Análisis retrospectivo de cartas de registro anonimizadas de 152 pacientes con STB.
• ChatGPT-4o generó recomendaciones de tratamiento basadas en guías.
• Revisores expertos ciegos a la fuente calificaron los resultados en cinco dominios: diagnóstico, terapéutica, secuenciación/cronología, quimioterapia y contextualización clínica.

Principales resultados:

• Las puntuaciones de rendimiento de ChatGPT-4o estuvieron significativamente por debajo del máximo en todos los criterios evaluados (p < 0,0001).
• El dominio de contextualización clínica recibió puntuaciones significativamente más altas en comparación con otros dominios (p < 0,05).
• No se observaron diferencias significativas en el rendimiento entre los distintos subtipos de sarcoma (p = 0,138).

Conclusiones:

• ChatGPT-4o demostró un rendimiento considerable, calificado por expertos, en la generación de recomendaciones para comités de tumores de STB, especialmente en la contextualización clínica.
• Las áreas que requieren mejora incluyen la secuenciación del tratamiento y la selección de la quimioterapia, lo que subraya la necesidad de supervisión experta humana.
• Los hallazgos respaldan la integración de LLM en los flujos de trabajo oncológicos, y se necesita un mayor desarrollo para una aplicación clínica segura.