医学考试问题难度预测:对嵌入表示,机器学习方法和输入特征影响影响的分析

科学领域:

• 教育测量教育的测量
• 机器学习在教育中的应用
• 医学教育评估 医学教育评估

背景情况:

• 准确的项目难度预测对于高风险的教育评估,如医疗执照考试至关重要.
• 现有研究表明,关于有影响力的建模组件的研究结果不一致,这表明需要进行系统的调查.
• 了解这些组成部分对于改善教育评估的设计和管理至关重要.

研究的目的:

• 在教育评估中系统地调查影响项目难度预测表现的关键因素.
• 为准确的难度预测确定建模组件的最佳组合.
• 为医学教育中的数据驱动测量实践提供见解.

主要方法:

• 该研究探讨了模型域特异性,输入内容细分化 (项目干,正确答案,分心),嵌入维度和机器学习回归器选择的影响.
• 2815 来自国家卫生专业教育发展中心的多选择题被用来预测项目难度.
• 在预测任务中使用了一系列嵌入模型和机器学习模型.

主要成果:

• 在机器学习回归者中,XGBoost表现优越 (平均RMSE=0.1779).
• 一个域特定的嵌入模型 (MedEmbed-small) 始终提高了预测准确性 (平均RMSE=0.1860).
• 输入项目干和正确答案产生了预测准确度和模型简单性的最佳平衡 (RMSE = 0.1756).

结论:

• 这些发现为数据驱动的测量实践提供了宝贵的见解,例如医疗教育中的自动项目校准,计算机自适应测试和智能辅导系统.
• 难度预测的最佳特征集取决于特定的项目风格.
• 未来的研究应该专注于扩展这些发现,以预测多式联络测试项目的难度.