小児科の準備問題に関するディープシークとGPTモデルの性能:比較評価

科学分野:

• 医療教育における人工知能
• 医療のための大型言語モデル (LLM)

背景:

• 限定的な研究は,標準化された小児診断でAIのパフォーマンスを評価します.
• この研究は,小児科の準備におけるAI能力を評価する必要性について述べています.

研究 の 目的:

• 3つの主要なLLMの小児科試験の準備問題に関するパフォーマンスを評価し比較する.
• 人工知能のパフォーマンスを 人間の医者のベンチマークと比較する

主な方法:

• 2023年PREP自己評価から266の選択式質問の分析
• DeepSeek-R1,ChatGPT-4,ChatGPT-4.5の評価について
• アメリカ小児科学会 (American Board of Pediatrics) が公表した初合格率と比較したAIの成績.

主要な成果:

• DeepSeek-R1は98.1%の精度を達成し,典型的なパス率を超えました.
• ChatGPT-4.5の精度は96.6%で,人間のパフォーマンスの上限に達しました.
• ChatGPT-4は82. 7%の精度を示し,ヒトのパス率に比べて低かった.
• AIモデルは複雑な臨床プレゼンテーションと 希少疾患に関する知識を統合するのに苦労しました

結論:

• DeepSeek-R1の優れた性能は 医学教育と臨床支援の 可能性を示唆しています
• 複雑な臨床推論における AI の能力を探求するにはさらなる研究が必要である.