Prompting y ajuste fino de modelos de lenguaje grandes para el diagnóstico de la enfermedad de Parkinson: estudio de...

Área de la Ciencia:

• Inteligencia Artificial en Medicina
• Neurociencia Computacional
• Informática Clínica

Sus antecedentes:

• El diagnóstico de la enfermedad de Parkinson (EP) es un desafío debido a la diversidad de síntomas.
• Los modelos tradicionales de aprendizaje automático (ML) analizan datos clínicos estructurados.
• La utilidad de los modelos de lenguaje grandes (LLM) para el diagnóstico de EP utilizando lenguaje natural es en gran medida inexplorada.

Objetivo del estudio:

• Evaluar el rendimiento diagnóstico de los LLM utilizando indicaciones de lenguaje natural a partir de datos clínicos estructurados.
• Comparar el rendimiento de los LLM con clasificadores de ML tradicionales.
• Evaluar el impacto de las estrategias de indicaciones y el ajuste fino en la precisión diagnóstica de los LLM.

Principales métodos:

• Las variables clínicas estructuradas del conjunto de datos de la Iniciativa de Marcadores de Progresión de Parkinson (PPMI) se convirtieron en indicaciones de lenguaje natural.
• Las explicaciones aditivas de Shapley (SHAP) identificaron las 10 características principales, eliminando variables multicolineales.
• El rendimiento de los LLM se evaluó utilizando indicaciones de pocos ejemplos, indicaciones de doble salida y ajuste fino supervisado.
• La regresión logística (LR) y la máquina de vectores de soporte (SVM) sirvieron como líneas de base de ML, y las puntuaciones F1 se utilizaron para la evaluación.

Principales resultados:

• Los LLM lograron un rendimiento diagnóstico comparable o superior (puntuaciones F1 de hasta 0.987) a LR y SVM (puntuaciones F1 de 0.960) en el conjunto de prueba.
• Los LLM demostraron un alto rendimiento sostenido en un conjunto de validación temporal, superando a SVM, que se degradó significativamente.
• El ajuste fino supervisado mejoró la estabilidad, permitiendo que GPT-4o-mini lograra una puntuación F1 de 0.987 en el conjunto de prueba.

Conclusiones:

• Los LLM pueden procesar eficazmente datos clínicos estructurados en lenguaje natural para el diagnóstico de EP.
• El rendimiento de los LLM se ve influenciado por las técnicas de indicaciones, la selección del modelo y la distribución de los datos.
• Se necesita más investigación para optimizar la aplicación de los LLM para el análisis de datos clínicos y garantizar una generalización confiable.