精神科領域における複数の大規模言語モデルの診断精度と臨床推論の評価

科学分野:

• 医療における人工知能
• 臨床意思決定支援システム
• 精神科診断

背景:

• 現在のLLM評価は、主に精度ベンチマークを使用しているが、これは診断推論能力を不十分にしか評価していない。既存の研究では、しばしば事後的な説明を分析するが、明確で臨床医が見える推論のアーティファクトではなく、精神科のような複雑な診断領域への翻訳ギャップを生み出している。精神科診断は、物語の解釈、微妙な推論、不確実性の管理に大きく依存しており、精度メトリクスだけでは不十分な領域である。

研究 の 目的:

• 最新のLLMの診断精度と臨床推論の質を、臨床医がキュレーションしたデータセットを用いて精神科領域で評価すること。臨床医が評価した推論の質と診断の正確性の関連性を調査し、LLMのパフォーマンスと精神科レジデントを比較すること。推論の質が、データ抽出の精度のみよりもLLMのパフォーマンスのより意味のある尺度を提供するかどうかを判断すること。

主な方法:

• 196の精神科症例症例（135の公開症例、61の新規症例）を用いた4つのLLMの混合法評価。診断精度は、ランク付けされた鑑別診断における複数のメトリクス（トップ1、トップ5精度、リコール@5、MRR）で評価された。臨床推論の質は、臨床医がモデル生成の推論トレースと定性的なコメントを評価した30症例で評価された。

主要な成果:

• 臨床医が評価した診断推論の質は、診断の正確性と強く関連していた（β = 1·80; p < 0·001）が、データ抽出の質はそうではなかった。LLMは中程度から高い診断精度を示し、最上位のモデルは0.801のトップ5精度と最高の推論スコアを達成した。LLMの診断精度は、比較のために精神科レジデントと同等であった。

結論:

• 臨床医が評価した診断推論の質は、単純な精度を超えた臨床的に有意なLLMパフォーマンスの変動を捉えている。精神科は、物語中心の臨床設定におけるLLM推論を評価するための厳格なテストベッドとして機能する。将来のLLM臨床意思決定支援の評価には、精度メトリクスだけでなく、推論プロセスを構造化して評価することが不可欠である。