控制分歧思维评估中的Rater效应:对个体反应和快照评分的项目响应理论方法
Gerardo Pellegrino1, Janika Saretzki2,3,4, Mathias Benedek2
1Department of General Psychology, University of Padova, 35131 Padova, Italy.
Journal of Intelligence
|June 25, 2025
概括
项目响应理论 (IRT) 有效地模拟了评分者在分数分歧思维 (DT) 任务中的差异. 经IRT调整的得分与未调整的得分有很高的相关性,当评价者之间的一致性很高时.
科学领域:
- 心理测量 心理测量 心理测量
- 认知心理学 认知心理学
背景情况:
- 评分分歧思维 (DT) 任务是具有挑战性的,因为评分器之间的变化.
- 项目响应理论 (IRT) 提供了一个统计框架,以解决评分者的严重性和歧视差异.
研究的目的:
- 应用和评估项目响应理论 (IRT) 框架来评分分歧思维 (DT) 任务.
- 为了比较IRT调整的得分与传统的评分方法在可靠性和潜在的混效应方面.
- 以模拟缺失数据来评估IRT方法的稳定性.
主要方法:
- 重新分析了202名参与者的DT任务得分的开放访问数据集.
- 对比各种IRT模型,选择分级响应模型是最适合的.
- 对评级者严重性和歧视参数的检查,用于个人响应和快照评分.
- 模拟缺少的数据来测试接近的稳定性.
主要成果:
- IRT模型适用于个人响应评分和DT任务的快照评分.
- 经IRT调整和未调整的分数显示了很高的相关性,特别是在高互评价协议下.
- 在一致性高的情况下,评审员在严重性和歧视方面的变化对得分的影响最小.
结论:
- 项目响应理论 (IRT) 是一个有价值的工具,用于在DT评分中建模评分者的严重性和歧视.
- IRT为DT评分提供了实际的好处,尽管最佳应用的具体条件需要进一步研究.
- 这项研究证实了IRT在复杂认知任务的心理测量分析中的实用性.
