Un agente inteligente para la prueba de terminación de oraciones: creación y aplicación en la evaluación de la...

Área de la Ciencia:

• Evaluación psicológica
• La inteligencia artificial en la salud mental
• Psicología clínica

Sus antecedentes:

• Los cuestionarios tradicionales de autoinforme sufren de engaño en las respuestas y sesgo de deseabilidad social.
• La prueba de finalización de oraciones (SCT) es una técnica proyectiva con potencial, pero se enfrenta a desafíos en la puntuación manual y los altos costos.
• Los avances en los grandes modelos lingüísticos (LLM) ofrecen oportunidades para superar las limitaciones de los métodos tradicionales de evaluación psicológica.

Objetivo del estudio:

• Desarrollar y validar un agente inteligente utilizando LLM para la evaluación de la depresión en estudiantes universitarios chinos basado en el marco SCT.
• Evaluar la confiabilidad, validez y consistencia del agente SCT impulsado por LLM en comparación con la puntuación manual y las escalas de depresión establecidas.
• Evaluar la capacidad del agente para identificar respuestas no válidas durante el cribado psicológico.

Principales métodos:

• Desarrollo de un conjunto especializado de elementos de SCT adaptados a la evaluación de la depresión.
• Integración del marco teórico de SCT con las capacidades de LLM para crear un agente inteligente autoconstruido.
• Tres estudios empíricos progresivos en los que participaron estudiantes universitarios chinos, incluidos los análisis de confiabilidad y validez (alfa de Cronbach, análisis exploratorio de factores), las correlaciones de criterios (inventario de depresión de Beck, escala de autoevaluación de la depresión) y las métricas de detección de respuestas no válidas (F1, precisión, recuerdo).

Principales resultados:

• El agente inteligente demostró una buena fiabilidad (Cronbach's α = 0.89-0.92) y validez.
• Alta consistencia con la puntuación manual de SCT (r = 0.96) y correlaciones de criterios significativas con el Inventario de Depresión de Beck (r = 0.89) y la Escala de Depresión de Autoevaluación (r = 0.85).
• El agente logró un alto rendimiento en la identificación de respuestas no válidas (F1 = 0,94, Precisión = 0,99, Precisión = 0,99, Recall = 0,90).

Conclusiones:

• Esta investigación demuestra con éxito la transformación inteligente de la prueba de finalización de oraciones utilizando grandes modelos de lenguaje para la evaluación de la depresión.
• El agente impulsado por LLM ofrece una alternativa confiable, válida y eficiente a los métodos tradicionales, superando las limitaciones de la puntuación manual y los posibles sesgos.
• Esta innovación ofrece nuevas vías académicas y prácticas para la evaluación psicológica, particularmente en contextos de detección a gran escala.