人工智能时代的招生:在高等教育中检测人工智能产生的应用材料

科学领域:

• 人工智能的人工智能
• 自然语言处理自然语言处理.
• 机器学习 机器学习

背景情况:

• 人工智能的进步,包括像ChatGPT这样的大型语言模型 (LLM),模糊了人类和人工智能生成文本之间的界限.
• 一个通用的AI文本检测模型目前是无法实现的.
• 准确检测人工智能产生的内容对于学术诚信和公平评估至关重要,特别是在招生中.

研究的目的:

• 为高等教育应用开发和评估特定领域的人工智能检测模型.
• 识别人工智能生成和人工智能修订的推信 (LOR) 和意向声明 (SOI).
• 在研究生招生过程中确保公平和可信度.

主要方法:

• 利用来自福特汉姆大学士课程的3755个LOR和1973个SOI的数据集.
• 使用基于申请人数据和人类撰写文本的GPT-3.5 Turbo API生成AI对应物 (AI生成和AI修订).
• 训练和评估特定领域的人工智能检测模型和分析文本特征 (单词频率,统计特征).

主要成果:

• 特定领域的人工智能检测模型在足够的训练数据下实现了高精度.
• 对比分析显示,人工智能生成文本 (ChatGPT) 和人类撰写文本中的词汇和段落结构不同.
• 实验验证了构建专门的AI内容检测器的可行性.

结论:

• 专门的AI检测模型为特定领域的AI生成/修订文本的识别提供了可行和准确的解决方案.
• 这些发现支持使用定制的人工智能探测器来维护研究生招生中的学术诚信.
• 代码和模型可用于进一步的研究和应用.