アルゴリズムから手術室まで 巨大な言語モデルが 中国の麻酔検査を 習得できるのか? 横断的な評価

科学分野:

• 医療における人工知能
• 臨床的意思決定支援システム
• 医療教育技術

背景:

• 複雑な臨床推論における大型言語モデル (LLM) の性能は,依然としてほとんど確立されていない.
• 標準化された医療評価でLLMを評価することは,その能力と限界を理解するために不可欠です.
• 医学教育と実践に LLM の統合を導くために AI の基準が必要です.

研究 の 目的:

• 主要なLLM (ChatGPTとDeepSeek) の性能を難解な麻酔医の検査で比較する.
• 医学的な評価における複雑な臨床推論のタスクのためのAIベンチマークを確立する.
• 医療教育と臨床的意思決定支援のためのAI主導のツールの開発を促す.

主な方法:

• 2025年の中国麻酔学担当医試験 (CAAPE) の質問集 (5,647件の質問) を使用して,四つのLLMの繰り返し (GPT-3.5,GPT-4,DeepSeek-V3,DeepSeek-R1) の横断評価.
• 多様な問い合わせ戦略と言語が採用され,サブグループ分析はサブスペシャリティ,知識タイプ,質問形式に焦点を当てた.
• 性能指標には,正確さ,エラータイプ,応答時間などがあり,特に臨床的および論理的推論能力に重点を置いた.

主要な成果:

• DeepSeek- R1 (70. 6% - 73. 4%) とGPT-4 (68. 6% - 70. 3%) は,DeepSeek- V3 (53. 1% - 55. 5%) とGPT-3. 5 (52. 2% - 55. 7%) よりも優れた性能を示した.
• DeepSeek-R1は特定のプロンプト条件下でピーク精度 (73.4%) を達成した.
• すべてのモデルは基本的な知識で優れていたが,複雑な臨床シナリオと高度な推論では失敗し,70%以上の誤りは論理的/情報的であり,多くのリスクが高い.

結論:

• LLMは複雑な臨床推論に有望ですが,高リスクの医療シナリオでは重大なエラーのリスクがあります.
• 医療教育や意思決定支援に 価値のあるものですが 臨界臨床環境での導入前に LLM の誤差の可能性を 厳格に評価する必要があります
• LLMの誤差率を軽減し,医療における安全で効果的な使用のための信頼性を高めるために,さらなる研究が必要です.