实地测试多选题与人工智能考试:英语语法项目

科学领域:

• 教育测量教育的测量
• 教育中的人工智能
• 心理测量 心理测量 心理测量

背景情况:

• 实地测试教育评估至关重要,但资源密集.
• 目前的方法依赖于人类受试者,这导致了大量的时间和成本投资.
• 开发高质量的评估需要高效和有效的实地测试程序.

研究的目的:

• 引入和评估一种创新的方法,用于使用人工智能 (AI) 考生实地测试教育评估项目.
• 证明使用人工智能的可行性,以生成与人类受试者可比的项目响应数据.
• 探索AI在简化评估开发生命周期和降低相关成本方面的潜力.

主要方法:

• 微调预训练过的变压器语言模型,基于2参数逻辑 (2PL) 项目响应模型来模拟人类测试者行为.
• 利用人工智能考生,每个考生都被分配了一个潜在的能力 (θ),用于预测多选英语语法问题的答案选择概率.
• 通过比较真实和预测的2PL正确答案概率来评估AI受试者模型的性能.

主要成果:

• 最好的AI建模方法在真实和预测的2PL正确响应概率之间实现了0.82的相关性 (偏差=0.00,RMSE=0.18).
• 人工智能生成的项目响应数据证明了对计算正确的项目比例,项目歧视,使用杆进行项目校准,分心分析,维度分析和潜在特征评分的实用性.
• 人工智能方法没有达到人类受试者响应数据的准确度水平.

结论:

• 人工智能考生为实地测试教育评估提供了可行和有前途的替代方案,能够为各种心理测量分析生成数据.
• 虽然目前的人工智能模型不能完全复制人类受试者的准确性,但在时间,成本和后勤问题方面,大幅节省资源的潜力是巨大的.
• 对人工智能模型的进一步改进可能会彻底改变现场测试过程,使得评估开发速度更快,项目库扩展率提高,测试安全性提高.