使用大型语言模型进行自动化作业评分:来自生物信息学课程的见解
Pavlin G Poličar1, Martin Špendl1, Tomaž Curk1
1Faculty of Computer and Information Science, University of Ljubljana, Večna pot 113, 1000 Ljubljana, Slovenia.
Bioinformatics (Oxford, England)
|July 15, 2025
概括
大型语言模型 (LLM) 可以有效地评分学生的作业,提供与人类教学助理可比的反. 这项技术为个性化的教育提供了可扩展的解决方案,开源的LLM证明与商业选择一样有能力.
科学领域:
- 教育技术的教育技术
- 教育中的人工智能
- 生物信息学教育教育
背景情况:
- 个性化反对于学生的学习至关重要,但在规模上提供反是具有挑战性的.
- 大型语言模型 (LLM) 为高效,个性化的反提供了潜在的解决方案.
- 在现实教育环境中评估LLM的有效性是必不可少的.
研究的目的:
- 评估基于LLM的书面作业评分的实际有效性.
- 为了比较LLMs与人类教学助理 (TA) 的评分准确度和反质量.
- 评估商业和开源LLMs的表现.
主要方法:
- 在"介绍生物信息学"课程中,与100多名学生进行了实践评估.
- 学生的基于文本的答案使用LLMs进行了分级,在一个盲目的研究中,一个子集从LLMs和人类TA获得了反.
- 六个商业和开源的LLM被系统地评估并与人类的TA性能进行比较.
主要成果:
- 当有效提示时,LLM实现了与人类TA相比的分级准确性和反质量.
- 开源LLM的表现与商业LLM相提并论.
- 学生反的质量评级与LLM生成和人类生成的反相似.
结论:
- 法律学士是对书面作业进行评分的可行工具,提供可扩展和高质量的反.
- 开源的LLM为教育机构提供了具有成本效益和隐私保护的替代方案.
- 基于LLM的分级可以减少教师的工作量,同时增强学生的学习体验.
