调查多中心目标结构化临床检查 (OSCE) 中检查员差异调整的准确性. 基于视频的考生分数比较和调整 (VESCA) 的模拟研究

科学领域:

• 医学教育研究 医学教育研究
• 评估科学 评估科学
• 心理测量 心理测量 心理测量

背景情况:

• 在分布式的客观结构化临床考试 (OSCE) 中确保考官同等性至关重要,但由于嵌套的考官群体,这具有挑战性.
• 基于视频的考生分数比较和调整 (VESCA) 提供了一种方法,可以将不同考员组的分数联系起来并进行调整.
• 经VESCA调整的得分的准确性需要经验研究.

研究的目的:

• 调查由VESCA生产的调整得分的准确性.
• 评估各种操作参数对VESCA得分调整准确度的影响.
• 确定VESCA在分布式OSCE中提高或降低得分准确性的条件.

主要方法:

• 使用统计模拟来模拟学生表现,考官错误和基于视频的链接.
• 调查的关键参数包括审查员比例,链接视频,基线严格差异,站号和随机错误.
• 许多方面拉希模型被用来生成调整的分数,这些分数与真实性能分数进行比较.

主要成果:

• 评分调整在检查员严格性没有基线差异的情况下,最小改善或恶化准确性.
• 审查员组之间的基线差异增加显著改善了调整准确性.
• 在实质性的基线差异下,在93%的学生中观察到高达71%的错误减少和提高准确性.

结论:

• 在特定条件下 (即不同的考员严格性),VESCA有可能在分布式的欧安组织中显著提高分数等级.
• 相反,VESCA可能会降低评分的准确性,当审查员的严格性已经相当时.
• 调查结果有助于确定VESCA的适当应用,以提高欧安组织候选人同等性.