Pruebas y evaluación de las aplicaciones de los grandes modelos lingüísticos en el cuidado de la salud: una revisión...

Área de la Ciencia:

• Inteligencia artificial en el cuidado de la salud
• Aplicaciones de procesamiento del lenguaje natural (NLP)
• La informática médica

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) muestran potencial para aplicaciones en el cuidado de la salud.
• Es posible que los métodos de evaluación existentes no reflejen completamente la utilidad de los LLM en entornos clínicos.
• Se necesita una comprensión completa de las evaluaciones actuales de LLM para orientar la investigación futura.

Objetivo del estudio:

• Revisar y clasificar sistemáticamente las evaluaciones existentes de los LLM en la atención sanitaria.
• Analizar las evaluaciones basadas en el tipo de datos, la tarea de atención médica, las tareas de PNL / NLU, las dimensiones de la evaluación y la especialidad médica.
• Identificar las lagunas y limitaciones en las estrategias actuales de evaluación de LLM en el ámbito médico.

Principales métodos:

• Búsqueda sistemática de literatura de PubMed y Web of Science (enero de 2022 - febrero de 2024).
• Inclusión de estudios que evalúen uno o más LLM en la atención sanitaria.
• Categorización de 519 estudios por revisores independientes en cinco componentes clave.

Principales resultados:

• Solo el 5% de los estudios utilizó datos reales de atención al paciente; la mayoría se centró en la evaluación del conocimiento médico (por ejemplo, exámenes de licencia) y el diagnóstico.
• La respuesta a las preguntas fue la tarea predominante de la PNL/NLU (84,2%), con un enfoque limitado en el resumen o el diálogo.
• La precisión fue la métrica de evaluación primaria (95,4%), mientras que la imparcialidad, el sesgo, la toxicidad y las consideraciones de despliegue se evaluaron con poca frecuencia.

Conclusiones:

• Las evaluaciones actuales de LLM en atención médica están fuertemente sesgadas hacia la precisión en las pruebas estandarizadas, carecen de datos clínicos del mundo real y consideraciones de tareas diversas.
• Los aspectos críticos como la equidad, el sesgo y la preparación para el despliegue están subestimados.
• La investigación futura debe priorizar las métricas estandarizadas, la utilización de datos clínicos y una gama más amplia de tareas y especialidades de atención médica para una evaluación sólida de LLM.