Evaluación de los grandes modelos de lenguaje oftalmológico: métodos cuantitativos frente a los cualitativos

Área de la Ciencia:

• Oftalmología
• Inteligencia artificial
• La informática médica

Sus antecedentes:

• Los modelos de lenguaje grande (LLM) y la inteligencia artificial generativa (IA) se aplican cada vez más en oftalmología clínica.
• Evaluar el rendimiento de estas herramientas de IA es fundamental para su integración segura y efectiva en la atención médica.
• Los métodos de evaluación actuales a menudo se centran únicamente en la precisión, pasando por alto potencialmente otros aspectos cruciales del rendimiento de la IA.

Objetivo del estudio:

• Revisar y resaltar la importancia de las métricas de evaluación para LLM y las aplicaciones generativas de IA en oftalmología.
• Discutir las métricas de evaluación cuantitativas y cualitativas comúnmente adoptadas.
• Identificar los desafíos que obstaculizan la evaluación robusta de la IA en este ámbito.

Principales métodos:

• Revisión sistemática de la literatura existente sobre la evaluación de LLM y AI en oftalmología.
• Análisis de las métricas cuantitativas y cualitativas utilizadas en estudios publicados.
• Identificación de desafíos y limitaciones comunes en las prácticas de evaluación actuales.

Principales resultados:

• La IA generativa muestra un rendimiento prometedor en varias aplicaciones clínicas de oftalmología.
• Más allá de la precisión, las métricas cuantitativas y cualitativas ofrecen una evaluación más completa de los resultados de LLM.
• Los principales desafíos incluyen la falta de puntos de referencia estandarizados y la disponibilidad limitada de conjuntos de datos clínicos de alta calidad.

Conclusiones:

• Existe un espectro de métricas de evaluación, pero carece de estandarización.
• Es esencial abordar los desafíos en la curaduría de conjuntos de datos y el desarrollo de índices de referencia.
• La evaluación robusta y específica del dominio es crucial para validar las aplicaciones clínicas de la IA y facilitar su integración en la práctica oftalmológica.