質問の的確性：臨床相談テンプレート作成における大規模言語モデルのベンチマーキング

科学分野:

• 医療における人工知能
• 臨床情報学
• 自然言語処理

背景:

• 電子相談（eConsult）は、医師間の効率的なコミュニケーションを促進する。
• 構造化されたテンプレートは、明確かつ簡潔な臨床情報交換に不可欠である。
• 大規模言語モデル（LLM）は、テンプレート生成の自動化において可能性を示している。

研究 の 目的:

• 最新のLLMの構造化された臨床相談テンプレート生成能力を評価すること。
• LLMによって生成されたテンプレートの臨床的整合性、簡潔性、優先順位付けを評価すること。
• eConsultスキーマの臨床的関連性を生成する上での現在のLLMの限界を特定すること。

主な方法:

• スタンフォード大学のeConsultチームによる145の専門家作成のeConsultテンプレートを使用した。
• o3、GPT-4o、Kimi K2、Claude 4 Sonnet、Llama 3 70B、Gemini 2.5 Proを含む最先端のLLMを評価した。
• プロンプト最適化、セマンティック自動グレーディング、優先順位付け分析を備えたマルチエージェントパイプラインを採用した。

主要な成果:

• モデルは高い網羅率（最大92.2%）を達成したが、長すぎるテンプレートが生成された。
• LLMは、長さの制約下で臨床的に重要な質問を効果的に優先順位付けできなかった。
• 医学的専門分野によってパフォーマンスは異なり、精神医学とペインマネジメントでは顕著な低下が見られた。

結論:

• LLMは、構造化された臨床情報交換を改善する可能性を示している。
• 現在のLLMには、臨床的重要性や優先順位付けに焦点を当てた強化された評価方法が必要である。
• 実世界でのeConsultにおけるLLMの応用には、長さの制約と専門分野固有のニュアンスに対処することが重要である。