为了更细致的概念化不同审查员在欧安组织的严格差异

科学领域:

• 医学教育研究 医学教育研究
• 卫生专业中的评估和评价教育教育
• 基于绩效的评估中的心理测量.

背景情况:

• 在客观结构化临床检查 (OSCE) 中,检查员得分 (严格性) 的系统差异可能会损害结果的有效性.
• 传统的分析往往忽视了全球成绩,只关注检查清单或域名分数.
• 对于可靠的评估来说,对考官变异性的细微了解至关重要.

研究的目的:

• 通过使用大量候选人级数据集,开发一个更复杂的欧安组织审查员严格性模型.
• 调查考试人员不仅在整体严格性方面有所不同,而且在不同年级级别的歧视方面也有所不同.
• 量化考官变异性对考生通过/失败决策的影响.

主要方法:

• 对一个大型候选国家级的欧安组织数据集的分析.
• 模拟站的分数包括候选人的能力,站难度,考官严格性和考官等级歧视.
• 对考官,考生和考站所赋予的差异组件的量化.

主要成果:

• 考生通过一致的严格性 (34%) 和差异级别歧视 (7%) 显著地为得分差异做出了贡献.
• 在考虑考官效应后,候选人和站点因素占最低分数差异 (分别为3%和2%).
• 不同的考官严格性导致大约5%的虚假阳性和5%的虚假阴性率在站级,降至0.4%和3.3%的考试水平.

结论:

• 考官在评判候选人时以质量上不同的方式表现出变化,影响评估可靠性.
• 机构必须确保在足够的站点中对考官进行广泛抽样,以捍卫欧安组织级别的决定.
• 考官培训应涉及全球评分及其对候选人成绩评分的综合影响.