La coincidencia de contexto no es razonamiento: evaluación generalizada de modelos de lenguaje generativo en entornos...

Área de la Ciencia:

• La inteligencia artificial en la medicina
• Procesamiento del lenguaje natural
• Validación de la evaluación clínica

Sus antecedentes:

• Los modelos de lenguaje generativo (GLM) se evalúan cada vez más utilizando puntos de referencia clínicos de preguntas y respuestas de opción múltiple (MCQA).
• Los parámetros de referencia MCQA existentes, diseñados para sujetos humanos, pueden no reflejar con precisión las capacidades de GLM debido a las características únicas del modelo.

Objetivo del estudio:

• Validar la generalizabilidad de las evaluaciones basadas en MCQA para los GLM.
• Investigar los supuestos de la aplicación del conocimiento, la consistencia semántica y el reconocimiento de respuestas nulas en GLM.
• Identificar las limitaciones de los índices de referencia actuales y proponer diseños de evaluación más sólidos.

Principales métodos:

• Cuatro puntos de referencia clínicos de MCQA fueron validados utilizando ocho GLM.
• El rendimiento del modelo se analizó eliminando el tamaño del parámetro y las capacidades de razonamiento.
• Se empleó la permutación rápida para probar tres supuestos básicos de la generalizabilidad de MCQA.

Principales resultados:

• Todos los GLM probados demostraron fallas significativas en el reconocimiento de escenarios de respuesta nula.
• Los GLM grandes mostraron una mayor resistencia a las perturbaciones instantáneas que los modelos más pequeños.
• A pesar de retener el conocimiento, los GLM más pequeños mostraron una propensión a la memorización de respuestas en lugar de la aplicación.

Conclusiones:

• Los puntos de referencia actuales de MCQA tienen una validez cuestionable para evaluar los GLM en entornos clínicos.
• Los supuestos fundamentales con respecto a la aplicación del conocimiento, la consistencia semántica y el reconocimiento de respuestas nulas se invalidan globalmente para los GLM.
• Las adaptaciones al diseño del parámetro de referencia son cruciales para una evaluación más precisa y fiable de las capacidades clínicas de GLM.