精神衛生に関する大規模な言語モデルの評価:知識テストから疾患診断まで

科学分野:

• 医療における人工知能
• 計算精神科
• デジタルメンタルヘルス

背景:

• 大規模言語モデル (LLM) は,精神的健康の評価,カウンセリング,教育における新しい応用を提供します.
• 中国のような特定の文化背景でのLLMのパフォーマンスを評価することは 責任ある展開に不可欠です

研究 の 目的:

• 中国における精神衛生に関する知識と診断の15の最先端のLLMを体系的に評価する.
• 主要なLLMを特定し,中国のメンタルヘルスアプリケーションのモデル選択と改善のための洞察を提供すること.

主な方法:

• DeepSeek-R1,GPT-4.1,Llama4,QwQを含む15のLLMの評価について
• 公的に利用可能なデータセット: Dreaddit,SDCNL,CAS カウンセラー資格試験の質問.
• メンタルヘルスに関する知識の正確性と 精神疾患の診断能力の評価

主要な成果:

• DeepSeek-R1,QwQ,GPT-4.1は他のモデルと比較して優れた性能を示した.
• これらの最高性能のモデルは 知識の精度と診断の精度の両方で優れています
• 中国の精神保健分野における現在のLLMの強みと限界を特定した.

結論:

• ディープシーク-R1,QwQ,GPT-4.1は中国のメンタルヘルスアプリケーションにとって有望です.
• この調査結果は,中国における敏感なメンタルヘルスタスクのLLMの選定と強化の指針となる.
• この分野におけるLLMの有用性を最適化するために,さらなる研究が必要である.