在护理教育中比较人工智能生成和传统教科书的多选择题:基于工程的Delphi研究

科学领域:

• 护理教育 护理教育
• 医疗保健中的人工智能
• 评估设计 评估设计

背景情况:

• 传统的护理测试设计可能耗时且资源密集.
• 生成型人工智能为创建多样化和高效的评估工具提供了潜在的解决方案.

研究的目的:

• 评估生成语言模型-4 (GLM-4) 用于生成护理测试设计的多选择题 (MCQ).
• 探索各种提示技术在改进人工智能生成的护理评估项目的有效性.

主要方法:

• 德尔菲方法涉及8名护理教育专家评估25个GLM-4生成的MCQ.
• 提示技术包括零射击,少数射击,思维链 (CoT),具有自我一致性的CoT和思维树.
• 在内容覆盖,难度和语言方面评估了问题质量,并使用肯德尔的W和ICC3.3分析了一致性.

主要成果:

• 在生成适用于本科护理知识和临床判断的问题方面,GLM-4显示出高可靠性 (ICC3 > 0.90).
• 思想链提示在内容和难度方面获得了最高分,但一致性较低 (肯德尔的W ≈0.05).
• 低射击提示显示出强大的一致性 (肯德尔的W>0.75),但质量评级较低 (2.0-2.2),语言准确性和场景现实性存在问题.

结论:

• 像GLM-4这样的生成人工智能可以提高护理测试创建的效率和多样性,可能减少对专家时间的依赖.
• 诸如不适当的难度,弱推理和有缺陷的分心器等局限性需要人类审查和代提示.
• 为复杂的护理场景优化人工智能需要进一步改进和整合专家教学判断.