使用项目分数和响应时间来检测计算机自适应测试中的项目妥协

科学领域:

• 心理测量 心理测量 心理测量
• 教育测量教育的测量
• 计算机化的适应性测试

背景情况:

• 顺序程序是有效的实时检测受损的项目在计算机化适应性测试 (CAT).
• 项目响应理论 (IRT) 模型在CAT中广泛用于准确的能力估计.
• 将响应时间 (RT) 与项目分数集成,可以增强对异常响应行为的检测.

研究的目的:

• 提出和评估三种基于IRT的新顺序程序,用于检测CAT中受损的项目.
• 调查结合项目分数和RTs的实用性,以提高检测准确度.
• 在各种模拟条件下比较不同顺序程序在不同模拟条件下的性能.

主要方法:

• 开发了基于IRT的三个顺序程序: (1) 评分或RT统计极端, (2) 评分和RT统计极端, (3) 综合评分和RT统计极端.
• 在各种条件下模拟数据,以评估每个程序的性能.
• 基于假阳性率,真阳性率和滞后时间的评估程序.

主要成果:

• 第三种方法,使用综合分数和基于RT的统计数据,显示出最有前途的结果.
• 这种综合方法在假阳性和真阳性率之间取得了有利的平衡.
• 提出的程序,特别是第三个程序,在各种模拟场景中产生了相对较短的延迟时间.

结论:

• 结合得分和基于RT的顺序程序在CAT中实时检测受损项时非常有效.
• 该方法为在适应性测试环境中保持测试完整性提供了实用和高效的解决方案.
• 未来的研究应该探索这些程序在现实世界的测试环境中的应用.