Perplejidad y proximidad: La gran perplejidad del modelo lingüístico complementa las métricas de distancia semántica...

Área de la Ciencia:

• Lingüística computacional
• La psiquiatría
• Aprendizaje automático

Sus antecedentes:

• La coherencia semántica en el habla refleja el pensamiento organizado, crucial para el diagnóstico de trastornos del espectro de la esquizofrenia (SSD).
• El pensamiento desorganizado es un síntoma central de la psicosis en los SSD.
• Las herramientas automatizadas para evaluar la coherencia semántica pueden ayudar a la detección temprana y el seguimiento de los síntomas.

Objetivo del estudio:

• Desarrollar nuevas medidas de coherencia semántica basadas en el modelo de lenguaje amplio (LLM).
• Comparar las métricas de coherencia basadas en LLM con los métodos tradicionales de distancia vectorial.
• Evaluar la utilidad de la perplejidad de LLM en la identificación del pensamiento desorganizado en SSD.

Principales métodos:

• Evaluar los modelos de "bolsa" y "cadena" utilizando las perplejidades de LLM para la coherencia semántica.
• Modelos de regresión entrenados que combinan las características de perplejidad y proximidad para predecir las calificaciones de coherencia humana.
• Modelos validados sobre el habla de individuos con síntomas psicóticos y entrevistas clínicas con pacientes con SSD.

Principales resultados:

• Un enfoque combinado utilizando las características de perplejidad y proximidad de LLM logró la correlación más alta (0.61) con las calificaciones humanas en el conjunto de capacitación.
• Este método combinado también superó las características de proximidad por sí solas en el conjunto de ensayos (0,54 frente a 0,52).
• Las métricas de perplejidad basadas en el LLM demostraron un valor complementario a las medidas tradicionales de proximidad.

Conclusiones:

• Se desarrollaron y validaron nuevos métodos basados en el LLM para la evaluación de la coherencia semántica.
• La combinación de la perplejidad de LLM con las características de proximidad mejora la evaluación automatizada de la coherencia del habla.
• Estos hallazgos subrayan el potencial de los LLM para mejorar el diagnóstico y el monitoreo de los SSD.