臨床意思決定支援における人間と大規模言語モデル：医療計算機を用いた研究

科学分野:

• 人工知能と医学
• 臨床意思決定支援システム
• 医療情報学

背景:

• 大規模言語モデル（LLM）は医療知識に関してますます評価されていますが、臨床意思決定、特にツールの選択における有用性は不明です。
• 適切な医療計算機を推奨するLLMの能力を評価することは、安全で効果的な臨床実践のために不可欠です。

研究 の 目的:

• 人間のパフォーマンスと比較して、医療計算機を推奨する際の様々な大規模言語モデル（LLM）のパフォーマンスを評価すること。
• 臨床計算機を選択する際にLLMが犯すエラーの種類を特定すること。

主な方法:

• 9つのLLM（オープンソース、プロプライエタリ、ドメイン固有）を、35の臨床計算機を対象とした1,009の多肢選択問題でテストしました。
• LLMのパフォーマンスを、100問のサブセットで人間のアノテーターと比較しました。
• 最もパフォーマンスの高いLLMについてエラー分析を実施しました。

主要な成果:

• 最もパフォーマンスの高いLLMは、医療計算機に関する質問に66.0%の精度で回答しました。
• 人間のアノテーターは平均79.5%の精度を達成し、LLMを上回りました。
• LLMのエラーは、主に理解力（49.3%）と計算機の知識不足（7.1%）によるものでした。

結論:

• 現在のLLMは、臨床意思決定のための医療計算機の推奨において、人間のパフォーマンスを上回るものではありません。
• LLMが臨床計算機の選択のための信頼できるツールとなるためには、理解力と医学知識の大幅な向上が必要です。