评估口语英语水平的自动化评估系统:一项与人类评级人员进行的探索性比较研究
1City Culture and Communication College, Suzhou City University, Suzhou, Jiangsu Province, China.
PloS one
|March 28, 2025
概括
用于口语评估的自动化评估系统 (AES) 在英语作为外语 (EFL) 语境中表现有前途. 中国开发的三分之二的AES工具与人类评级保持一致,这表明了有效语言评估的潜力.
科学领域:
- 教育技术的教育技术
- 语言评估语言评估
- 教育中的人工智能
背景情况:
- 自动化评估系统 (AES) 正在全球范围内获得口语评估的引力.
- 在非西方教育环境中AES的有效性,特别是对于英语作为外语 (EFL) 学习者来说,尚未得到充分证实.
- 中国开发的AES工具被广泛使用,但需要验证来评估口语英语水平.
研究的目的:
- 调查中国开发的三种AES工具在评估口语英语水平时的有效性.
- 为了比较AES分数与中国本科生的人类评分.
- 解决非西方教育环境中AES有效性的未经探索的领域.
主要方法:
- 对30名中国本科生进行了IELTS适应的口语测试.
- 口语英语水平由三个中国开发的AES和人类评分器同时评估.
- 使用类内相关系数,皮尔森相关系数和线性回归分析了得分对齐.
主要成果:
- 三种AES工具中的两种表现出与人类评分器得分有很强的一致性.
- 一个AES表现出系统的得分膨胀,表明潜在的算法限制.
- 算法差异和对语言细微差别的不充分考虑可能解释了观察到的得分膨胀.
结论:
- 在EFL环境中,AES可以作为传统语言评估方法的有效补充.
- 校准和严格的验证对于确保AES的可靠性和公平性至关重要.
- 在口语评估中,AES有潜力提高口语评估的效率和标准化.
