GPT-4,GPT-o3,GPT-5,Gemini-3-Flash,およびDeepSeek-R1のGPT-4,GPT-o3,GPT-5,Gemini-3-Flash,およびDeepSeek-R1のGPT-4,GPT-o3,GPT-5,
Ping Zhang1, Jiaoman Wang2, Xinya Hu3
1Department of Ophthalmology, Shenzhen People's Hospital, The Second Clinical Medical College of Jinan University, Shenzhen, Guangdong, China.
Frontiers in cell and developmental biology
|February 16, 2026
まとめ
Gemini-3-FlashとGPT-o3は,高精度と一貫性を実証し,眼科AIの質問応答において最高のパフォーマンスを示しています. また,DeepSeek-R1は,特に複雑な医学的な質問に対して,有望な結果を示しています.
科学分野:
- 医療における人工知能
- 眼科 AI 眼科
- 大型言語モデル (LLM) とは
背景:
- 大型言語モデル (LLM) は,眼科などの専門医療分野において大きな可能性を秘めている.
- 現在の研究では,主に個々のLLMを検証しており,上位パフォーマンスのモデル間の体系的な比較は行われていない.
研究 の 目的:
- 眼科における主要なLLM (GPT-4,GPT-o3,GPT-5,Gemini-3-Flash,DeepSeek-R1) のパフォーマンスを体系的に評価し,比較する.
- 異なるLLMとプロンプトング戦略における応答の一貫性と事実の正確性を評価する.
主な方法:
- StatPearlsの300の眼科の選択式質問が使用され,難易度によって分類されました.
- 各LLMは,直接のプロンプトとロールベースのプロンプトを使用して,質問に3回回答しました.
- フライスのカッパ (κ) は応答の一貫性を測定し,全体的な精度が主な指標であった.
主要な成果:
- Gemini-3-Flashは最高精度 (83.3%) を達成し,次にGPT-o3 (79.2%) とDeepSeek-R1 (74.4%) が続いた.
- GPT-o3は最高の一貫性 (κ = 0.966) を示し,次にDeepSeek-R1 (κ = 0.904) とGemini-3-Flash (κ = 0.860) が続いた.
- プロンプティング戦略は最小限の影響を及ぼし,DeepSeek-R1とGPT-o3は複雑なタスクに優れていた.
結論:
- Gemini-3-FlashとGPT-o3は,眼科の臨床意思決定支援に優れた精度と安定性を提供しています.
- オープンソースのDeepSeek-R1は,特に挑戦的な質問において,競争力のあるパフォーマンスを示しています.
- LLMは,臨床的有用性を高めるためにさらなる検証とマルチモダルの統合を必要とします.
関連する概念動画
Improving Translational Accuracy
Base complementarity between the three base pairs of mRNA codon and the tRNA anticodon is not a failsafe mechanism. Inaccuracies can range from a single mismatch to no correct base pairing at all. The free energy difference between the correct and nearly correct base pairs can be as small as 3 kcal/ mol. With complementarity being the only proofreading step, the estimated error frequency would be one wrong amino acid in every 100 amino acids incorporated. However, error frequencies observed in...
Improving Translational Accuracy
Base complementarity between the three base pairs of mRNA codon and the tRNA anticodon is not a failsafe mechanism. Inaccuracies can range from a single mismatch to no correct base pairing at all. The free energy difference between the correct and nearly correct base pairs can be as small as 3 kcal/ mol. With complementarity being the only proofreading step, the estimated error frequency would be one wrong amino acid in every 100 amino acids incorporated. However, error frequencies observed in...
Sensitivity, Specificity, and Predicted Value
In healthcare diagnostics, laboratory tests play a crucial role in identifying and diagnosing a wide range of medical conditions. However, interpreting test results is not always straightforward. An abnormal test result does not always confirm the presence of a disease, just as a normal result does not guarantee its absence. To assess the reliability of these diagnostic tools, healthcare practitioners rely on two key statistical indicators: sensitivity and specificity.
Sensitivity is the...
Sensitivity is the...


