大型语言模型在护士考试中的表现:在中国对ChatGPT-3.5,ChatGPT-4和iFLYTEK Spark进行比较分析
Peifang Li1, Menglin Jiang2, Jiali Chen1
1Department of Orthopedic Surgery, West China Hospital, Sichuan University/West China School of Nursing, Sichuan University, Chengdu, China.
Nursing open
|October 3, 2025
概括
聊天GPT-4和iFLYTEK Spark在中国护士考试中表现强,表明它们作为有价值的教育工具的潜力. 这些大型语言模型 (LLM) 在护理教育和专业资格评估中提供了有前途的应用.
科学领域:
- 教育中的人工智能
- 医疗教育 技术 技术 医学教育
- 自然语言处理自然语言处理.
背景情况:
- 大型语言模型 (LLM) 在护理教育中越来越多地使用.
- 有限的研究存在于中国护理考试的LLM表现.
- 这项研究主要关注ChatGPT-3.5,ChatGPT-4和iFLYTEK Spark.
研究的目的:
- 评估ChatGPT-3.5,ChatGPT-4和iFLYTEK Spark在2022年中国全国护理专业资格考试 (CNNPQE) 的表现.
- 评估CNNPQE的初级和中级水平的表现.
- 调查LLM准确性与考试难度或科目之间的相关性.
主要方法:
- 将2022年CNNPQE-初级和中级考试中的800个问题输入三个LLMs.
- 计算每个LLM的准确率.
- 分析准确性,考试难度和学科领域之间的相关性.
主要成果:
- 聊天GPT-4实现了最高的准确性 (68.5%初级,70.7%中级).
- 在模型之间观察到统计学上显著的精度差异 (p < 0.001).
- 聊天GPT-4在各种护理知识领域表现出卓越的准确性.
结论:
- 在中国的护士考试中,ChatGPT-4和iFLYTEK Spark表现强.
- 这些LLM显示出作为护理教育有效工具的潜力.
- 进一步的研究可以探索LLM整合到护理课程和评估.
