ROAR-CAT:通过计算机自适应测试快速在线评估阅读能力
Wanjing Anya Ma1, Adam Richie-Halford2, Amy K Burkhardt2,3
1Stanford University Graduate School of Education, 520 Galvez Mall, Stanford, CA, 94305, USA. wanjingm@stanford.edu.
Behavior research methods
|January 14, 2025
概括
计算机自适应测试 (CAT) 显著提高了快速在线阅读评估 (ROAR) 的效率,用于测量文字识别. 这种创新方法可以减少40%的测试时间,同时保持阅读能力评估的高准确性.
科学领域:
- 教育心理学教育心理学
- 心理测量 心理测量 心理测量
- 人与计算机的交互
背景情况:
- 快速在线阅读评估 (ROAR) 是一种基于网络的工具,用于评估单词阅读能力.
- 传统的评估可能会耗时,需要专家.
- 项目响应理论 (IRT) 和计算机自适应测试 (CAT) 为更高效的评估提供了潜力.
研究的目的:
- 调查IRT和CAT在开发更有效的词识别在线测量的有效性.
- 通过使用CAT算法来调整ROAR评估.
主要方法:
- 通过分析来自不同人口统计学群体的1960名学生的数据,创建了一个项目银行.
- 实现了一个JavaScript CAT算法.
- 一项验证实验涉及1至8年级的485名学生,比较随机项目顺序与CAT顺序.
- 在32所公立学校进行了基于课堂的验证.
主要成果:
- 项目参数在各个学生群体中基本一致,由于功能差异,删除了六个项目.
- CAT 提高了 40% 的测试效率,以达到 0.9 的可靠性,需要 75 个 CAT 项目与 125 个随机订购的项目相比.
- 在约3分钟内,ROAR-CAT与传统评估 (r=1.89为1年级,r=.73为2年级) 取得了很高的相关性.
结论:
- ROAR-CAT是一个有希望的,高效的,准确的在线测量单词阅读能力的工具.
- 开发过程为创建结合研究和实际应用的适应性在线评估提供了一个模型.
