眼科診断と管理計画のためのDeepSeek-R1 vs OpenAI o1

科学分野:

• 眼科について
• 人工知能
• 臨床的意思決定支援

背景:

• 大規模な言語モデル (LLM) は,臨床意思決定のためにますます探索されています.
• 臨床実務における複雑な眼科症例に関するLLMのパフォーマンスを評価した研究はほとんどありません.
• オープン・ウェイトとプロプライエタリ・LLMの評価は,臨床的有用性とアクセシビリティにとって極めて重要です.

研究 の 目的:

• DeepSeek-R1 と OpenAI o1 の診断精度と管理意思決定を比較する.
• 眼科におけるこれらのLLMの費用対効果を評価する.
• 複雑な臨床シナリオにおける推論強化型,オープン・ウェイト型LLMの性能を理解する.

主な方法:

• 標準化されたプロンプト (Plan-and-Solve Plus) を使用したDeepSeek-R1とOpenAI o1の横断評価.
• 10つのサブスペシャリティのJAMA眼科の臨床チャレンジ記事から 422の複雑な臨床症例を活用しました.
• 診断の正確さ,次のステップの意思決定の正確さ,そしてトークンコストの評価

主要な成果:

• DeepSeek-R1はOpenAI o1 (63. 0%) よりも高い診断精度 (70. 4%) を示した (P=. 02).
• また,DeepSeek-R1は,OpenAI o1 (75.8%) (P=0.01) に比べて,次のステップの決定精度 (82.7%) が優れていることが示された.
• ディープシークR1はコストを大幅に削減し 98.5%まで節約できました

結論:

• DeepSeek-R1は,眼科症例の診断と管理の正確性においてOpenAI o1を上回りました.
• DeepSeek-R1のようなオープン・ウェイト・LLMは 費用対効果の高いスケーラブルな 臨床的意思決定支援ソリューションです
• 最適な臨床統合のために,安全性や領域特有の適応に関するさらなる研究が必要である.