基于大型语言模型的自动反系统的开发和准实验性评估,用于护理创新场地

科学领域:

• 护理教育 护理教育
• 医疗保健中的人工智能
• 沟通技巧培训 培训 沟通技巧培训

背景情况:

• 医疗保健创新需要具有强大的沟通技能的护士,这些技能在当前课程中往往不发达.
• 电梯演讲对于倡导变革是有价值的,但传统的评分方法受到教师短缺和主观性的限制.
• 大型语言模型 (LLM) 为护理教育中的自动评分和个性化反提供了一个可扩展的解决方案.

研究的目的:

• 开发和评估一个基于LLM的系统,用于评估护理学生的演讲脚本.
• 提供可操作的反,旨在加强护理学生的创新培训.
• 利用人工智能进行客观和有效的护理沟通技能的评估.

主要方法:

• 这是一项两阶段的准实验性研究,涉及精细调整和测试四个LLM的pitch脚本分级.
• 使用根平均平方误差 (RMSE),平均绝对误差 (MAE) 和R2进行性能评估;与教师反进行比较.
• 准实验性评估,将使用LLM系统的干预组与对照组进行比较.

主要成果:

• GPT-4o-mini在分级准确度方面表现出卓越的表现 (RMSE和MAE最低,R2最高).
• 实际上,LLM提供了比手动评估更有利的反.
• 与对照组相比,干预组的球场得分明显高 (P < 0.001).

结论:

• 这种基于LLM的系统准确地评价了比赛脚本,并为护理学生提供客观,有价值的反.
• 这种人工智能驱动的工具可以显著改善护理教育中的沟通技能培训.
• 该系统有可能通过提高学生倡导变革的能力来促进护士领导的创新.