在牙科本科考试的自动作文评分中,ChatGPT的可靠性
Bernadette Quah1,2, Lei Zheng1,2, Timothy Jie Han Sng1,2
1Faculty of Dentistry, National University of Singapore, Singapore, Singapore.
BMC medical education
|September 3, 2024
概括
在牙科手术考试中,ChatGPT显示了自动化作文评分 (AES) 的潜力,在一些问题上表现出强大的可靠性,但在教育评估中需要谨慎的标题设计以获得最佳结果.
科学领域:
- 医学教育 医学教育
- 教育中的人工智能
背景情况:
- 评估牙科本科生口腔和面外科手术 (OMS) 的知识至关重要.
- 在这种情况下,评估 ChatGPT 等自动化作文评分 (AES) 工具的可靠性是一个新兴的领域.
研究的目的:
- 为了比较ChatGPT (GPT-4) 对于自动化作文评分 (AES) 的可靠性,与OMS考试的人类评估者进行比较.
- 评估手动和自动评分方法之间的相关性和一致性.
主要方法:
- 69名牙科本科生完成了两篇关于OMS考试的论文.
- 手动评分是由三个独立评估员使用标题进行的.
- 聊天GPT (GPT-4) 使用相同的标题进行了自动化作文评分 (AES).
- 类内相关系数和克伦巴赫α被用于可靠性和协议分析.
主要成果:
- 聊天GPT在第1个问题上与手动评分有很强的相关性 (r=0.752-0.848),在第2个问题上有中等的相关性 (r=0.527-0.571).
- 在人类评估者中观察到卓越的评价者间一致性 (ICC=0.794-0.858) 和高可靠性 (Cronbach's α=0.881-0.932).
- 对于第1个问题,AES的分数与手册的分数非常接近,但对于第2个问题,AES的分数明显低.
结论:
- 聊天GPT显示承诺作为一个工具,用于牙科教育的自动化作文标记.
- 聊天GPT对AES的有效性高度依赖于评估标题的设计和清晰度.
- 需要进一步验证,但ChatGPT可以支持学生的自我评估和大规模的自动标记过程.
