Evaluación de grandes modelos lingüísticos sobre salud mental: desde la prueba de conocimientos hasta el diagnóstico...

Área de la Ciencia:

• Inteligencia artificial en el cuidado de la salud
• Psiquiatría computacional
• Salud mental digital

Sus antecedentes:

• Los grandes modelos de lenguaje (LLM) ofrecen nuevas aplicaciones en la evaluación de la salud mental, el asesoramiento y la educación.
• Evaluar el desempeño de LLM en contextos culturales específicos como China es crucial para el despliegue responsable.

Objetivo del estudio:

• Evaluar sistemáticamente 15 LLM de última generación sobre conocimientos de salud mental y tareas de diagnóstico en el contexto chino.
• Identificar a los principales LLM y proporcionar información para la selección y mejora de modelos en aplicaciones de salud mental chinas.

Principales métodos:

• Evaluación de 15 LLM, incluidos DeepSeek-R1, GPT-4.1, Llama4 y QwQ.
• Se utilizaron conjuntos de datos disponibles públicamente: preguntas del examen de calificación de consejero de Dreaddit, SDCNL y CAS.
• Evaluación del rendimiento en la precisión de los conocimientos sobre salud mental y las capacidades de diagnóstico de enfermedades mentales.

Principales resultados:

• DeepSeek-R1, QwQ y GPT-4.1 exhibieron un rendimiento superior en comparación con otros modelos.
• Estos modelos de alto rendimiento sobresalieron tanto en la precisión del conocimiento como en la precisión del diagnóstico.
• Identificó las fortalezas y limitaciones específicas de los actuales LLM en el ámbito chino de la salud mental.

Conclusiones:

• DeepSeek-R1, QwQ y GPT-4.1 son prometedores para las aplicaciones chinas de salud mental.
• Los hallazgos ofrecen orientación para seleccionar y mejorar los LLM para tareas sensibles de salud mental en China.
• Se necesita más investigación para abordar las limitaciones y optimizar la utilidad del LLM en este dominio.