在中国全国护士执照考试中,Qwen-2.5优于其他大型语言模型:回顾性跨部门比较研究

科学领域:

• 医疗保健中的人工智能
• 医疗教育 技术 技术 医学教育
• 护理信息学 护理信息学

背景情况:

• 大型语言模型 (LLM) 是医学中的新兴工具.
• 中国国家护理执照考试 (CNNLE) 需要专门的护理知识和临床决策.
• 在CNNLE上LLM的表现以前没有被研究过.

研究的目的:

• 在CNNLE上评估七个LLM的准确性.
• 评估LLM在护理知识和临床决策方面的能力.
• 确定集合机器学习方法是否可以提高CNNLE的LLM准确性.

主要方法:

• 来自CNNLE (2019-2023) 的1200个多选题的分析.
• 评估了七个LLM:GPT-3.5,GPT-4.0,GPT-4o,Copilot,ERNIE Bot-3.5,SPARK,以及Qwen-2.5.5,这些LLM的使用情况.
• 应用九个机器学习模型进行组合优化.

主要成果:

• Qwen-2.5获得了最高的个人LLM准确度 (88.9%).
• 使用XGBoost的合并方法提高了准确度,达到90.8%.
• XGBoost 显示出强大的性能指标:AUC 0.961,灵敏度 0.905,特异性 0.978.

结论:

• 这是第一个在CNNLE上评估LLM的研究.
• 机器学习集成显著提高了CNNLE的LLM准确性.
• 在医疗保健教育和护理考试准备方面,LLM具有变革性的潜力.