超越可靠性:在使用行为标记系统时评估评级者能力

科学领域:

• 医疗保健教育卫生保健教育
• 药房实践的做法 在药房实践.
• 行为科学 行为科学

背景情况:

• 行为标记系统评估医疗保健中的非技术技能,但受到可变评分员培训和评分员之间的可靠性不佳的影响.
• 评级者之间的可靠性数据反映了该工具的质量,而不是个人评级者的能力.
• 药剂师行为技能 (PhaBS) 系统是评估药剂师行为技能的新工具.

研究的目的:

• 用临床经验丰富的教师和近同行评级者来测试PhaBS系统的评级者之间的可靠性.
• 使用PhaBS评估评级者能力,评估完整性,与专家的协议,绩效排名,严格性/宽容性和避开光环效应.

主要方法:

• 临床经验丰富的教师和近同行评价者接受了为期30分钟的PhaBS熟悉会话.
• 评级人员在三个模拟的急性护理场景 (表现好,平,表现差) 中评估了学员药剂师的行为技能.
• 评估者之间的可靠性是使用类内相关系数 (ICC) 计算的;评估者的能力差异是使用Pearson的千平方测试进行比较的.

主要成果:

• 经验丰富的教师实现了良好的互评级可靠性 (ICC=0.60),而接近同行评级者显示可靠性很差 (ICC=0.38).
• 较高比例的经验丰富的教师评级者 (5/9) 在所有领域都具备能力,而不是接近同行评级者 (2/13),尽管在统计学上并不显著.
• 在与专家,绩效排名,严格性/宽容性或避开光环效应等方面达成一致的群体之间没有发现显著差异;然而,经验丰富的教师在完成评估时明显更好 (9/9 vs 6/13).

结论:

• 临床经验丰富的教师证明了PhaBS的可接受的评估者间可靠性,与其他行为标记系统保持一致.
• 并非所有评级人员都达到完全的能力,这凸显了在行为标记系统评估中需要评级人员能力框架的需要.
• 实施评级者能力框架可确保公平的评估,为评级者培训提供信息,并为个人评级者提供有针对性的反.