对DeepSeek-R1和当代大型语言模型在放射学委员会考试中的评估:作为开源模型匹配性能与封闭源模型模型的里程碑,实现了一个里程碑

科学领域:

• 人工智能在医学中的应用
• 医疗教育 技术 技术 医学教育
• 放射学 信息学 信息学

背景情况:

• 大型语言模型 (LLM) 在专业领域显示先进的推理.
• 评估医学执照考试的LLM绩效对于评估其实用性至关重要.

研究的目的:

• 评估开源DeepSeek-R1 LLM在放射学委员会考试问题上的表现.
• 将DeepSeek-R1的准确性与当代LLM和人类放射学家进行比较.

主要方法:

• 评估了10个LLM,包括开源 (DeepSeek-R1,Llama 3.3 70B) 和封闭源代码模型.
• 通过2024年日本放射学会董事会考试的105个多选题来评估绩效.
• 研究人员将LLM准确度与第三年放射学专业的平均准确度进行了比较.

主要成果:

• DeepSeek-R1和OpenAI o1的准确率达到了87.6%,明显超过了人类放射科医生 (67.6%).
• DeepSeek-R1提供了相当大的成本效益,API成本约为1.1.o的1/27
• 一个蒸的32B DeepSeek-R1模型在准确度上超过了Llama 3.3 70B.

结论:

• 开源的DeepSeek-R1在放射学知识评估方面表现得与领先的封闭源LLM相美.
• DeepSeek-R1为人工智能驱动的放射学教育和评估提供了一个具有成本效益的解决方案.