在专业物理治疗师教育计划中检测人工智能生成的个人陈述应用:词汇分析

科学领域:

• 自然语言处理自然语言处理.
• 教育中的人工智能
• 学术招生学术招生学术招生

背景情况:

• 越来越多地使用人工智能生成的文本,如ChatGPT,对学术应用的真实性提出了挑战.
• 个人陈述是招生专业课程的关键组成部分,包括物理治疗.

研究的目的:

• 将人类申请人撰写的个人陈述的词汇复杂性与ChatGPT生成的个人陈述进行比较.
• 评估复发量化分析 (RQA) 在区分人类和人工智能生成文本方面的有效性.

主要方法:

• 收集了152个人类撰写的个人陈述和20个ChatGPT生成的个人陈述,用于物理治疗师教育计划.
• 使用反复量化分析 (RQA) 分析陈述,以比较诸如反复性,确定性和等指数.
• 用人接收机运行特征 (ROC) 曲线分析,以评估RQA的区分能力.

主要成果:

• 与人类陈述相比,ChatGPT生成的陈述显示出明显更高的复发率,确定性,平均线和值.
• 13.04%的确定性率是最强的歧视因素,70%的灵敏度和91.4%的特异性.
• 确定性超过13%的陈述是人工智能生成的8倍.

结论:

• RQA可以有效地区分人工智能生成的文本和人类写作,尽管不能绝对确定.
• 像ChatGPT这样的AI写作工具为招生委员会在陈述真实性方面提出了新的挑战.
• 招生委员会应该考虑重新评估个人陈述的作用,并探索用于AI检测的RQA等工具.