文脈マッチングは推論ではない:臨床環境における生成言語モデルの一般的評価を評価する

科学分野:

• 医療における人工知能
• 自然言語処理
• 臨床評価の検証

背景:

• ジェネラティブ・ランゲージ・モデル (GLM) は,臨床的複数選択質問応答 (MCQA) 基準を用いてますます評価されています.
• 既存のMCQAの基準は,ヒト試験対象のために設計されており,モデル特有の特性により,GLMの能力を正確に反映していない可能性があります.

研究 の 目的:

• GLMに対するMCQAベースの評価の一般化性を検証する.
• GLMにおける知識の適用,意味論的一貫性,および無答え認識の仮定を調査する.
• 現在の基準の限界を特定し,より堅実な評価デザインを提案する.

主な方法:

• 4つの臨床MCAベンチマークは8つのGLMを用いて検証された.
• パラメータのサイズと推論能力を省略することによって,モデルのパフォーマンスを分析した.
• MCQAの3つの基本的な仮定をテストするために,即時変位が使用されました.

主要な成果:

• テストされたすべてのGLMは,ゼロレスポンスシナリオの認識に重大な失敗を示した.
• 大きいGLMは,小さなモデルよりも突然の干渉に対するより大きな回復力を示した.
• 知識を保持したにもかかわらず,小さなGLMは,応用よりも答えを暗記する傾向を示しました.

結論:

• 現在のMCQAの基準は,臨床環境でのGLMの評価に疑わしい有効性を持っています.
• 知識の適用,意味論的一貫性,およびゼロレスポンス認識に関する基本的仮定は,GLMでは全体的に無効です.
• GLMの臨床能力のより正確で信頼性の高い評価のために,ベンチマークの設計に適応することが不可欠です.