人工智能作为作者:科学审稿人可以识别GPT-4o生成的手稿吗?

科学领域:

• 科学研究中的人工智能
• 自然语言处理应用程序
• 学术出版的诚信学术出版的诚信

背景情况:

• 聊天生成预训练变压器 (ChatGPT) 是一种NLP模型,越来越多地被用作学术写作中的技术助手.
• 人们担心ChatGPT有可能在学术文献中引入错误,错误信息和学术不当行为.
• 这项研究调查了由期刊编辑和同行评审者对人工智能生成的科学文章的可检测性.

研究的目的:

• 评估学术期刊编辑和同行评审人员识别完全由AI生成的科学文章的能力.
• 评估当前审查流程在区分人类撰写和人工智能生成手稿的有效性.

主要方法:

• 使用GPT-4o生成了一篇科学文章,主题是预测医院外心脏骤停 (OHCA) 病例中的死亡率和自发循环恢复 (ROSC).
• 人工智能生成的手稿提交给了14位经验丰富的期刊编辑和同行评审人员进行评估.
• 评论员被告知该文章是人工智能生成的,并询问他们是否可以检测其来源.

主要成果:

• 42.9%的审稿人建议在编辑阶段拒绝稿件;另有42.9%提前进行同行评审.
• 在同行评审期间,42.9%的人建议拒绝,而28.6%的人建议进行重大修订.
• 相当多数 (78.6%) 的审稿人未能将手稿识别为人工智能生成的.

结论:

• 期刊编辑和同行评审者需要提高对人工智能产生的内容的认识和培训.
• 开发强大的系统来检测人工智能撰写的手稿对于保持学术完整性至关重要.
• 这项研究强调了在科学出版中区分人工智能生成的文本和人类写作的挑战.