Un estudio comparativo de la respuesta de cinco grandes modelos de lenguaje para el tratamiento integral del cáncer...

Área de la Ciencia:

• La inteligencia artificial en la medicina
• En el campo de la oncología
• Enfermedades hepáticas y biliares

Sus antecedentes:

• Los grandes modelos lingüísticos (LLM) se adoptan cada vez más en el sector de la salud.
• Su fiabilidad en dominios clínicos especializados como el cáncer de hígado es incierta.
• El cáncer de hígado presenta desafíos únicos para las aplicaciones de IA debido a su complejidad.

Objetivo del estudio:

• Evaluar la comprensibilidad y la aplicabilidad clínica de cinco LLM convencionales.
• Evaluar el rendimiento del LLM en cuestiones clínicas relacionadas con el cáncer de hígado.
• Identificar las fortalezas y debilidades de los LLM actuales en oncología.

Principales métodos:

• Desarrolló 90 preguntas estandarizadas para el tratamiento del cáncer de hígado.
• Cinco LLM (GPT-4, Gemini, Copilot, Kimi, Ernie Bot) fueron evaluados a ciegas por expertos hepáticos y biliares.
• Respuestas calificadas de comprensibilidad y aplicabilidad clínica utilizando criterios predefinidos.

Principales resultados:

• Kimi (68%) y GPT-4 (62%) mostraron las respuestas más altas totalmente aplicables.
• La comprensibilidad fue alta (Kimi, Ernie Bot > 98%), pero la concordancia de la guía fue inconsistente.
• Los LLM luchaban con preguntas complejas a nivel profesional en comparación con las de sentido común.

Conclusiones:

• Los LLM muestran un rendimiento variable en las consultas clínicas de cáncer de hígado.
• GPT-4 y Kimi demuestran potencial para su aplicabilidad clínica.
• La optimización específica del dominio es crucial para integrar los LLM en el cuidado del cáncer de hígado, especialmente para decisiones complejas.