在医院前模拟中基于人工智能的非技术技能评估:比较验证研究
Masanori Mitsuhashi1,2, Yumika Akiba2, Misato Saitou2
1Department of Emergency Medical Science, Faculty of Medical Science, Nippon Sport Science University, Yokohama 227-0033, Japan.
Healthcare (Basel, Switzerland)
|December 11, 2025
概括
人工智能 (AI) 显示出在护理人员教育中评估非技术技能 (NTS) 的潜力,但尚未替代人类教师. 目前在医院前模拟中对NTS的AI评估与专家评级缺乏充分的一致性.
科学领域:
- 医学教育 医学教育
- 医疗保健中的人工智能
- 医院前护理研究 医院前护理研究
背景情况:
- 在医院前护理中评估非技术技能 (NTS) 倾向于评估主观性.
- 人工智能 (AI) 可以分析成绩单,但可能会错过由人类专家评估的上下文细微差别.
- 这项研究调查了人工智能生成的NTS评估与护理师教师评级相比的有效性.
研究的目的:
- 将AI (ChatGPT-4o) NTS评估与医护人员教师在医院前模拟中的评估进行比较.
- 确定基于人工智能的NTS评分与人类专家判断的有效性和一致性.
- 分析五个NTS领域的分数差异,以了解AI的性能.
主要方法:
- 64名护理生参加了为期5分钟的医院前模拟.
- 五个NTS域名被AI和教师使用三级标签得分.
- 统计分析包括威尔科克森的签名等级测试,贝叶斯因子和Gwet的AC2来达成一致.
主要成果:
- 在沟通,适合环境的行动和时间管理方面发现了有利于人工智能的显著差异 (p < 0.001).
- 在信息收集和后续询问方面,存在差异的证据不足.
- 人工智能和教师之间的总体一致性 (AC2) 低于实质值 (≥0.60).
结论:
- 与专家教师相比,目前仅在医院前模拟中对NTS的AI评估是不充分的.
- 人工智能对语言特征的关注限制了它与整体人类判断的一致性.
- 未来的研究应该探索结合人工智能和人类专业知识用于NTS评估的混合模型.
