人工智能能能产生科学讨论,通过同行评审在一个高影响力的骨科期刊上发表?
Gerard A Sheridan1,2,3, Lisa C Howard1, Michael E Neufeld1
1University of British Columbia, Vancouver, BC, Canada.
Irish journal of medical science
|June 12, 2025
概括
人工智能 (AI) 现在可以生成适合同行评审和发表在高影响力期刊上的科学内容. 虽然人工智能显示出希望,但人们仍然担心伪造的引用和过度依赖模式识别.
科学领域:
- 科学出版中的人工智能
- 人工智能产生的内容质量评估
背景情况:
- 人工智能对学术内容制作和评估越来越感兴趣.
- 人工智能在科学写作中的作用和能力不清楚.
研究的目的:
- 评估人工智能 (ChatGPT-4) 产生的科学讨论的质量.
- 确定人工智能生成的内容是否适合于高影响力的期刊出版.
主要方法:
- 人工智能从现有文章部分中产生了讨论/结论.
- 六位专家审查员盲目评分了人工智能生成的内容.
- 一向ANOVA分析了分数差异.
- 审稿人建议出版的适宜性.
主要成果:
- 评估了人工智能产生的讨论和结论.
- 人工智能部分的得分与原始内容相当 (p=0.37).
- 83%的审稿人建议在重大修订后接受.
- 没有推拒绝.
结论:
- 人工智能的大型语言模型可以产生对高影响力的骨科期刊进行后修订时可以接受的内容.
- 人工智能对模式识别和参考准确性的依赖仍然令人担忧.
- 人工智能融入科学写作需要仔细考虑.
