在临床前医学教育中使用项目难度和歧视指数检测有缺陷的多选题:一项为期六年的分析

科学领域:

• 教育测量教育的测量
• 心理测量 心理测量 心理测量
• 医学教育 医学教育

背景情况:

• 多选题 (MCQ) 可能包含有缺陷的项目,从而损害了考试的有效性.
• 心理测量指标,如项目难度 (p值) 和点-双序列相关性 (rpb值),用于识别有问题的MCQ.
• 关于静态p值 (<0.25) 和rpb值 (<0) 值用于检测有缺陷的项目有效性的证据有限.

研究的目的:

• 评估静态心理测量值在识别有缺陷的MCQ项目的有效性.
• 为了确定错过有缺陷项目的速度,仅依赖预定义的p值和rpb值截止值.
• 通过使用临床前医学课程的大型现实数据集提供概念验证.

主要方法:

• 分析了涵盖2017-2022学年32个临床前课程的考试数据.
• 项目根据预定义的p值和rpb值值进行标记.
• 对于没有键入正确答案或类似的p值的项目,进行了手动审查,随后由课程主任进行验证.

主要成果:

• 在14238个项目中,有81个 (0.6%) 项目需要纠正,主要是由于"多个答案" (46.9%) 和"错误答案" (40.7%) 问题.
• 静态值未能检测到14.3%的纠正项目 (共77项中的11项).
• 与未经纠正的项目相比,经纠正的项目表现出明显较低的p值和rpb值 (P < 0.001).

结论:

• 静态的p值和/或rpb值值不足以全面识别有缺陷的MCQ项目,在本研究中缺少14.3%.
• 建议将定量心理测量指数与专家审查相结合,以进行可靠的考试评估.
• 与工作负载平衡检测准确性需要仔细考虑,可能通过标记与分心器类似的p值的项目.