系统地修复低差别的多选题对评估可靠性的影响:中断时间序列分析
Janeve Desy1, Adrian Harvey1, Sarah Weeks1
1Office of Undergraduate Medical Education, Cummings School of Medicine, University of Calgary, Alberta, Canada.
实施持续质量改进 (CQI) 计划,修改低质量的多选择题 (MCQ),大大提高了医学学生评估的可靠性. 这种质量改善策略导致了测试成绩的立即和持续改善.
科学领域:
- 医学教育 医学教育
- 心理测量 心理测量 心理测量
- 提高质量 提高质量
背景情况:
- 使用多选题 (MCQ) 的总结性评估对于评估医学生能力至关重要.
- 保持这些评估的高可靠性和内部一致性对于准确的评估至关重要.
- 在干预之前,观察到评估可靠性的下降趋势.
研究的目的:
- 评估持续质量改进 (CQI) 计划对总结性MCQ评估可靠性的影响.
- 确定低歧视性MCQ项目的有针对性的修订是否提高了整体评估的一致性.
- 分析CQI干预前后评估可靠性的趋势.
主要方法:
- 使用中断时间序列分析来评估平均α系数 (可靠性的衡量标准) 的变化.
- 数据包括6个学年 (2015-2021) 的医学学生的MCQ总结评估.
- 该CQI倡议侧重于修订MQQ项目,其歧视指数低于0.1.
主要成果:
- 从2015年到2018年,平均α系数的显著负趋势被观察到 (回归系数-0.027,p=0.024).
- 在2018-19年CQI倡议之后,平均α系数显著增加 (回归系数0.113,p=0.010).
- 干预后观察到可靠性的持续积极趋势 (回归系数为0.056,p=0.006).
结论:
- 持续质量改进倡议有效提高了MCQ评估的可靠性和内部一致性.
- 针对性地修改差异化项目是提高医学教育评估质量的成功策略.
- 这些发现支持CQI的持续实施,以保持强大的教育评估.
更多相关视频
06:45Task Interruption and Resumption Paradigm for Testing the Activation and Pursuit of an Abstract Thinking Goal
Published on: April 18, 2017
00:08A Cross-Disciplinary and Multi-Modal Experimental Design for Studying Near-Real-Time Authentic Examination Experiences
Published on: September 4, 2019
相关概念视频
Cochran's Q Test
Reliability and Validity
Strategies for Assessing and Addressing Confounding
Confounding can be addressed at both the design phase of a study and through analytical methods after data...
Statistical Analysis: Overview
One of the most commonly used statistical quantifiers is the mean, which is the ratio between the sum of the numerical values of all results and the...
Comparing Experimental Results: Student's t-Test
Systematic Error: Methodological and Sampling Errors
Sampling errors originate from improper sampling methods or the wrong sample population. These errors can be minimized by refining the sampling strategy. Defective instruments or faulty calibrations are the sources of instrumental...
