Rendimiento comparativo de modelos de lenguaje grandes en el triaje de derivación oftalmológica

Área de la Ciencia:

• Oftalmología; Inteligencia Artificial; Procesamiento del Lenguaje Natural

Sus antecedentes:

• La clasificación automatizada de derivaciones médicas puede mejorar la eficiencia.; Los modelos de lenguaje grandes (LLM) ofrecen potencial para analizar texto clínico.

Objetivo del estudio:

• Evaluar la precisión y consistencia de la clasificación de cinco LLM avanzados en la categorización de viñetas de derivación oftalmológica portuguesas.; Evaluar el impacto del aprendizaje supervisado en contexto en el rendimiento de los LLM para estas derivaciones.

Principales métodos:

• 3.831 viñetas de derivación oftalmológica portuguesas fueron clasificadas por cinco LLM (ChatGPT 4o, ChatGPT 5.1, Perplexity Pro, Claude Sonnet 4.5, Claude Opus 4.1).; Se utilizó una estrategia de prompting de cero disparos inicialmente, seguida de una fase con aprendizaje en contexto (957 ejemplos etiquetados).; Se calcularon la precisión de la clasificación, la consistencia y el acuerdo de kappa de Fleiss.

Principales resultados:

• La precisión inicial promedió 68,7%, mejorando a 73,4% después del aprendizaje en contexto.; ChatGPT 5.1 alcanzó la máxima precisión (79,5%); ChatGPT 4o mostró la mayor ganancia de consistencia (66,8% a 93,8%).; El rendimiento superó el 90% para categorías comunes (p. ej., cribado de diabetes), pero fue menor para quejas raras/ambiguas. El acuerdo entre ejecuciones varió de moderado a sustancial (κ = 0,462-0,801).

Conclusiones:

• Los LLM avanzados demuestran un potencial significativo en la interpretación de derivaciones oftalmológicas, con notables mejoras en precisión y consistencia a través del aprendizaje en contexto.; El rendimiento de los LLM es menor para tipos de derivación raros o ambiguos, lo que resalta la necesidad de una implementación cuidadosa.; Los LLM podrían servir como ayudas de triaje escalables y de bajo costo en oftalmología, supeditados a la supervisión humana y una mayor validación clínica.