连续生成预训练变压器 (GPT) 模型在医疗病例和董事会风格问题中的性能
Anshum Patel1, Het Contractor1, Hayden Heninger1
1Division of Pulmonary, Allergy and Sleep Medicine, Mayo Clinic, Jacksonville, FL, 32224, USA.
Scientific reports
|January 6, 2026
概括
大型语言模型 (LLM) 显示在睡眠医学中改善了诊断和知识准确性. 最近的模型显示出高临床能力,这表明性能增长可能接近平原.
科学领域:
- 人工智能在医学中的应用
- 医疗信息学 医疗信息学
- 睡眠医学 睡眠医学
背景情况:
- 大型语言模型 (LLM) 正在快速发展,但它们在专业医疗领域的表现尚未完全理解.
- 评估连续的LLM一代的诊断和知识能力对于了解他们在医疗保健中的潜力至关重要.
研究的目的:
- 评估睡眠医学中六个顺序生成预训练变压器 (GPT) 模型的诊断和基于知识的准确性.
- 测试假设,医疗任务的LLM的性能改进开始趋于平稳.
主要方法:
- 对 GPT-3.5 Turbo,GPT-4-Turbo,GPT-4o,GPT-4.1,GPT-o3 和 GPT-5 的比较评价
- 利用了两个数据集:用于诊断推理的78个睡眠医学病例简介和897个睡眠医学董事会式的多选择题 (MCQ) 用于域知识评估.
主要成果:
- 临床图片的诊断准确性从74.4% (GPT-3.5 Turbo) 提高到最新模型 (GPT-o3和GPT-5) 的91%以上.
- 对MCQ的准确性从56.9% (GPT-3.5 轮) 增加到93.0% (GPT-5).
- 与先前代相比,在先进模型中观察到显著的性能增长 (P < 0.05),最近的模型显示出高临床能力.
结论:
- 最新的LLM在睡眠医学诊断和知识检索方面表现出很高的水平.
- 未来的临床级可靠性进展可能需要精心策划的医疗数据集和LLMs的领域特定培训.
