構造化プロンプティング：LLMを臨床意思決定支援でより役立つものにする方法

科学分野:

• 医用人工知能
• 臨床意思決定支援システム
• 神経学
• 自然言語処理

背景:

• 大規模言語モデル（LLM）は臨床意思決定支援に有望ですが、精度にばらつきがあります。
• プロンプトエンジニアリングは臨床現場でのLLMパフォーマンスを最適化できますが、神経学における特定のベストプラクティスはまだ十分に探求されていません。
• 効果的なLLM統合には、正確で安全な臨床推奨を最大限に引き出す方法を理解する必要があります。

研究 の 目的:

• 急性脳卒中血栓溶解療法臨床意思決定支援（CDS）におけるLLMパフォーマンスに対する構造化プロンプティング（CARDS）とナイーブプロンプティングの影響を比較すること。
• 現実的な臨床症例を使用して4つのLLM（2つの閉鎖型ソースと2つの開放型ソース）を評価すること。
• ガイドライン遵守率、安全性、推奨の明確さを含む主要ドメイン全体でパフォーマンスを評価すること。

主な方法:

• 3つの新規虚血性脳卒中症例が、ナイーブな質問または5段階の構造化プロンプト（CARDS）のいずれかを使用してLLMに提示されました。
• CARDSプロンプトは、情報抽出、タイミング分析、禁忌チェック、意思決定の説明、リスクとベネフィットの議論をガイドしました。
• LLMの出力は、ガイドライン遵守率、安全でない推奨、リスク認識、ガイドラインのグレーディング精度、会話による説明、明確さ、および有用性について評価されました。

主要な成果:

• 構造化プロンプティングは、閉鎖型ソース（GPT-4o、o3）および開放型ソース（r1-1776）モデルの両方で、評価されたほとんどのドメインでパフォーマンスを大幅に向上させました。
• 閉鎖型ソースモデルおよびr1-1776モデルは、構造化プロンプトで100％のガイドライン遵守率を達成し、安全でない推奨を排除しました。
• 他の開放型ソースモデルはわずかな改善を示し、構造化プロンプティングに対するLLM応答のばらつきを浮き彫りにしました。

結論:

• 構造化プロンプティングは、急性脳卒中血栓溶解療法臨床意思決定支援におけるLLMパフォーマンスを大幅に向上させ、安全性と遵守率を改善します。
• 専有モデルおよび開放型ソースモデルを含む特定のモデルは、構造化プロンプトで優れたパフォーマンスを示しました。
• 構造化プロンプトは臨床LLM展開に不可欠ですが、人間の監視は依然として重要です。