大規模な言語モデルが臨床知識をコードする

科学分野:

• 人工知能
• 医療情報学
• 自然言語処理

背景:

• 大型言語モデル (LLM) は高度な機能を示していますが,臨床使用には高い基準に直面しています.
• 現在,LLMにおける医療知識の評価は,限られた自動化された基準に基づいています.

研究 の 目的:

• マルチメドクエ (MultiMedQA) を導入し,医学的な質問の答えにおけるLLMを評価するための包括的な基準となる.
• LLMの回答における事実性,理解,推論,害,偏見を評価する人間評価の枠組みを確立する.
• パスウェイズ・ランゲージ・モデル (PaLM) とFlan-PaLMのパフォーマンスをMultiMedQAベンチマークで評価する.

主な方法:

• 6つの医療QAデータセットと新しいHealthSearchQAデータセットを統合したMultiMedQAを開発しました.
• LLMによって生成された医学的答えのための人間の評価プロトコルを実装した.
• マルチメッドQAでの様々な誘導戦略を用いて,PaLMとFlan-PaLMを評価した.
• LLM の領域適応のための命令プロンプトのチューニングが導入されました.

主要な成果:

• Flan-PaLMは,MultiMedQAの複数の選択データセットで最先端の精度を達成し,MedQA (USMLEスタイルの質問) で67.6%を達成しました.
• 人間による評価は,高い自動スコアにもかかわらず,LLMのパフォーマンスの大きなギャップを特定しました.
• 指示の即時調整により Med-PaLM が改善されたが,臨床医のレベルを下回った.

結論:

• 医学におけるLLMのパフォーマンスは,スケールと指示プロンプトのチューニングによって改善されます.
• 現在のLLMは臨床応用において限界があり,堅固な評価枠組みの必要性を強調しています.
• 医療のための安全で効果的な LLM を構築するには,さらなる開発が不可欠です.