Los grandes modelos de lenguaje codifican el conocimiento clínico

Área de la Ciencia:

• Inteligencia artificial
• La informática médica
• Procesamiento del lenguaje natural

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) demuestran capacidades avanzadas, pero se enfrentan a altos estándares para el uso clínico.
• Las evaluaciones actuales de los conocimientos médicos en los LLM a menudo se basan en puntos de referencia automatizados limitados.

Objetivo del estudio:

• Introducir MultiMedQA, un punto de referencia completo para la evaluación de las LLM en la respuesta a preguntas médicas.
• Establecer un marco de evaluación humana que evalúe la factualidad, la comprensión, el razonamiento, el daño y el sesgo en las respuestas de LLM.
• Evaluar el rendimiento del modelo de lenguaje de Pathways (PaLM) y del Flan-PaLM en el punto de referencia MultiMedQA.

Principales métodos:

• Desarrolló MultiMedQA, integrando seis conjuntos de datos de control de calidad médica y el nuevo conjunto de datos HealthSearchQA.
• Implementó un protocolo de evaluación humana para las respuestas médicas generadas por LLM.
• Se evaluaron PaLM y Flan-PaLM utilizando varias estrategias de estimulación en MultiMedQA.
• Se ha introducido la puesta a punto de instrucciones para la adaptación del dominio de los LLM.

Principales resultados:

• Flan-PaLM logró una precisión de última generación en todos los conjuntos de datos de opción múltiple de MultiMedQA, incluido el 67,6% en MedQA (preguntas al estilo USMLE).
• La evaluación humana identificó brechas significativas en el rendimiento de LLM a pesar de las fuertes puntuaciones automatizadas.
• La puesta a punto de instrucciones condujo a Med-PaLM, que mostró un rendimiento mejorado, pero se mantuvo por debajo del nivel clínico.

Conclusiones:

• El rendimiento del LLM en medicina mejora con la afinación rápida de la escala y la instrucción.
• Los LLM actuales tienen limitaciones en las aplicaciones clínicas, lo que subraya la necesidad de marcos de evaluación sólidos.
• El desarrollo posterior es crucial para crear LLM seguros y eficaces para la atención sanitaria.