使用聚合的人工智能检测器结果来消除STEM学生写作中的假阳性

科学领域:

• 教育技术的教育技术
• 教育中的人工智能
• 学术诚信 学术诚信

背景情况:

• 生成型人工智能 (AI) 和大型语言模型是学生越来越容易获得的工具.
• 人工智能生成的写作几乎无法与人类写作区分,这对学术完整性构成了挑战.
• 目前,教师依靠直觉和人工智能检测工具来区分学生和人工智能产生的工作.

研究的目的:

• 评估在线人工智能检测器在区分人类和人工智能生成的论文在本科解剖学和生理学课程的有效性.
• 为了比较人工智能检测器与人类评分器在识别书面作品来源方面的准确性.
• 评估使用人工智能探测器对准确性和错误阳性率的总体影响.

主要方法:

• 190名本科生完成了一篇手写的论文和一篇人工智能生成的关于等离子膜的论文.
• 50篇论文在4个AI检测器上进行了测试,48篇论文由9名人类评分员进行了审查.
• 通过调查收集了学生对论文质量和人工智能使用的看法.

主要成果:

• 性能最好的AI检测器正确地识别了论文来源,准确度为93-98%,相当于人类评分器 (84-95%).
• 与人类评分器 (5.0%) 相比,人工智能检测器的假阳性率较低 (1.3%).
• 学生普遍认为人工智能生成的论文优于他们自己的论文 (P < 0.01).

结论:

• 人工智能检测器是教练识别人工智能生成内容的宝贵工具.
• 总的来说,使用人工智能探测器可以显著降低假阳性率,提高可靠性.
• 基于共识的AI检测提供了一个强大的方法来支持教师保持学术完整性.