人工智能产生的放射学社论:专家编辑可以检测它们吗?
Burak Berksu Ozkara1, Alexandre Boutet2, Bryan A Comstock3
1From the Department of Neuroradiology (B.B.O., M.W.), The University of Texas MD Anderson Center, Houston, Texas.
AJNR. American journal of neuroradiology
|September 17, 2024
概括
GPT-4可以生成高质量的放射学社论,这些社论可能会逃避检测. 然而,编辑们更喜欢人类撰写的内容,这表明科学写作评价存在偏见.
科学领域:
- 人工智能在科学写作中的作用
- 放射学 编辑 内容生成 内容生成
- 在学术界自然语言处理.
背景情况:
- 像GPT-4这样的人工智能 (AI) 模型可以产生类似人类的文本.
- 人工智能编写科学内容的能力需要对其现实世界的适用性进行评估.
研究的目的:
- 评估GPT-4生成放射学社论的能力.
- 将人工智能生成的社论与人类撰写的社论进行比较.
- 确定人工智能生成的科学内容的可检测性和可发布性.
主要方法:
- GPT-4基于人类撰写的摘要生成了16篇社论.
- 六位经验丰富的编辑使用利克特尺度和作者确定 (未配对和配对设置) 来评估文章.
- 文章使用AI检测和抄袭软件进行分析.
主要成果:
- 人工智能撰写的文章的中位数AI概率得分为58%,而人类撰写的文章为2.0%.
- 在配对的设置中,作者分类的准确性达到70%.
- 编辑更喜欢发表由人类撰写的文章 (82%),当被认为是人类撰写的文章时,他们的评分更高.
结论:
- GPT-4产生高质量的,无抄袭的社论,这些社论很难用当前的工具来检测.
- 人工智能生成的内容可能会被发布,但面临着编辑对人类撰写作品的偏见.
- 检测工具在识别人工智能生成的科学文本方面有效性有限.
