大規模言語モデルの臨床推論が失敗する理由：説明可能な深層学習からの洞察

科学分野:

• 医療人工知能、臨床意思決定支援システム、医療における計算言語学

背景:

• 医療大規模言語モデル（LLM）は、高いベンチマーク精度を示しますが、説明不能な臨床推論のばらつきとエラーを示します。スパースオートエンコーダーは、医療におけるLLMの知識表現と失敗モードを理解するためのメカニズム的な解釈可能性アプローチを提供します。既存のベンチマークは、安全なAI展開に必要な臨床推論安定性の全範囲を捉えられない可能性があります。

研究 の 目的:

• 体系的な摂動下で、異なる医療LLMアーキテクチャ（GPT-5、MedGemma-27B-Text-IT、OpenBioLLM-Llama3-70B）の臨床推論の安定性を評価すること。スパースオートエンコーダーとアブレーション実験を使用して、異なるモデルアーキテクチャが多義的な医療用語をどのようにエンコードするかを分析すること。医療用語の意味の曖昧さ解消とモデルパフォーマンスの向上に検索介入の効果を評価すること。

主な方法:

• NCCNおよびAJCCガイドラインと比較して、腫瘍学症例における355の体系的な摂動を使用して推論の安定性を評価し、ステージングと治療を比較しました。MIMIC-IV臨床ノートからの10億トークンでスパースオートエンコーダーをトレーニングし、多義的な医療用語のエンコーディングを分析しました。850のアブレーション実験を実施し、意味の曖昧さ解消のために2段階の検索介入をテストしました。

主要な成果:

• モデルは劇的な推論の不安定性を示しました。OpenBioLLMのステージング精度は、プロンプト形式によって45.9%から99.1%まで変動しました。スパースオートエンコーダー分析により、エンコーディングに大きな違いがあることが明らかになりました。MedGemmaは単語の意味間で77.8%の特徴オーバーラップを示しましたが、OpenBioLLMは13.6%でした。検索介入はMedGemmaの曖昧さ解消を10.2%改善しましたが、OpenBioLLMでは2.0%悪化させ、アーキテクチャ固有の介入効果を示唆しています。

結論:

• 医療AIシステムは、ベンチマークパフォーマンスでは捉えられない臨床推論の脆弱性を示しており、より深い解釈可能性の必要性を強調しています。アーキテクチャ的に異なるモデルは医療概念を異なる方法でエンコードするため、一方に効果的な介入が他方には害を及ぼす可能性があります。医療AIの安全性検証は、ベンチマークの同等性が機能的な同等性を保証しないため、アーキテクチャ固有である必要があります。