一个优化的BERT微调模型使用人工蜂群算法进行自动作文得分预测
Ridha Hussein Chassab1, Lailatul Qadri Zakaria1, Sabrina Tiun1
1Faculty of Information Science and Technology, Universiti Kebangsaan Malaysia, Bangi, Selangor, Malaysia.
PeerJ. Computer science
|December 9, 2024
概括
本研究介绍了一种优化的双向编码器转换 (BERT) 模型,使用人工蜂群 (ABC) 算法来提高自动作文评分 (AES) 预测的准确性. ABC-BERT-FTM方法有效地解决了分类器的灾难性遗忘问题,达到高达98.5%的准确性.
科学领域:
- 自然语言处理自然语言处理.
- 机器学习在教育中的应用
背景情况:
- 自动作文得分 (AES) 预测系统对于教育应用至关重要.
- AES系统分析文本和语法特征,用于得分预测.
- 线性回归和分类器需要学习模式来提高得分准确度.
研究的目的:
- 为了解决灾难性遗忘问题,并减少AES分类器中的计算复杂性.
- 通过解决遗忘问题来提高预测准确度.
- 提出一个优化的双向编码器从转换表示 (BERT) 模型.
主要方法:
- 一个优化的BERT模型,称为ABC-BERT-FTM,是通过整合人工蜂群 (ABC) 算法来开发的.
- 该ABC算法优化网络参数,以减轻遗忘问题.
- 该模型进行了微调,以提高性能.
主要成果:
- 优化的BERT模型在ASAP和ETS数据集上实现了高预测准确率,高达98.5%.
- 在AES预测中,ABC算法有效地减少了灾难性遗忘问题.
- 与现有方法相比,拟议的方法显示出更高的性能.
结论:
- 使用像ABC这样的元启发式算法优化BERT可以解决AES系统中的忘记问题.
- 采用ABC-BERT-FTM方法可以显著提高AES预测的准确性.
- 这项研究为自动化作文评分提供了一个强大的解决方案.
