Detección de tensiones mediante ingeniería rápida con un LLM de propósito general

Área de la Ciencia:

• Lingüística computacional
• Informática de la salud mental
• Inteligencia artificial en la salud

Sus antecedentes:

• El análisis de las redes sociales ofrece potencial para el monitoreo de la salud mental.
• Los grandes modelos de lenguaje de propósito general (LLM) son prometedores, pero requieren una adaptación especializada para aplicaciones precisas de salud mental.
• Los métodos existentes a menudo carecen de transparencia y requieren un ajuste extenso.

Objetivo del estudio:

• Desarrollar y evaluar un marco iterativo de ingeniería rápida para mejorar el rendimiento de LLM para la detección de estrés en las redes sociales.
• Para aprovechar las pistas informadas por psicólogos dentro del proceso de ingeniería inmediata.
• Mejorar la precisión y reducir los falsos positivos en la detección de estrés en comparación con los modelos de referencia y de dominio específico.

Principales métodos:

• Se diseñó un marco iterativo de ingeniería rápida, que incorpora sugerencias informadas por psicólogos.
• El marco se aplicó al gran modelo de lenguaje GPT-4 para la detección de estrés en publicaciones en redes sociales.
• El rendimiento se evaluó en comparación con los modelos iniciales de estimulación de disparo cero y de dominio específico, midiendo la precisión y las tasas de falsos positivos.

Principales resultados:

• El rápido enfoque de ingeniería mejoró la precisión de detección de tensiones de GPT-4 del 72% al 89% (un aumento del 17%).
• Se logró una reducción significativa del 80% de los falsos positivos en comparación con los métodos de referencia.
• El método superó el modelo Mental-RoBERTa específico del dominio en un 5% y generó racionalidades legibles por humanos.

Conclusiones:

• La ingeniería rápida iterativa es una estrategia efectiva y eficiente en recursos para adaptar los LLM de propósito general a tareas especializadas de monitoreo de la salud mental.
• Las justificaciones generadas mejoran la transparencia y ayudan a los profesionales de la salud mental a validar los resultados del modelo.
• Este enfoque ofrece una solución escalable para el monitoreo de la salud mental sin la necesidad de un costoso ajuste fino del modelo.