耳鼻喉学出版物中人工智能生成的文本:在ChatGPT发布之前和之后的比较分析
Jonathan M Carnino1, Nicholas Y K Chong2, Henry Bayly3
1Boston University Chobanian & Avedisian School of Medicine, Boston, MA, USA. jcarnino@bu.edu.
概括
像ChatGPT一样,人工智能 (AI) 文本生成的使用在耳鼻喉科研究出版物中自2022年底以来显著增加. 这种趋势引发了对内容准确性和科学传播完整性的担忧.
科学领域:
- 耳鼻喉科 耳鼻喉科 耳鼻喉科
- 医疗信息学 医疗信息学
- 科学沟通科学沟通
背景情况:
- 人工智能 (AI) 文本生成技术,包括大语言模型 (LLM) 和聊天机器人,正在越来越多地影响科学写作.
- 了解这些人工智能工具对耳鼻喉科等专业领域的影响对于保持科学完整性至关重要.
研究的目的:
- 调查人工智能生成文本在耳鼻喉科学文献中的流行程度和影响.
- 将人工智能驱动的工具对这项医学专业内的科学写作和交流的影响置于背景中.
主要方法:
- 分析了JAMA耳鼻喉科 - 头部和部外科发表于2022年11月之前和之后的143篇原始文章 (ChatGPT发布).
- 在摘要,介绍,方法,结果和讨论中估计人工智能产生的内容百分比,使用ZeroGPT.com.com.
- 在R.中使用T测试和弗利格纳-基伦测试进行统计分析.
主要成果:
- 在ChatGPT发布后,观察到人工智能生成文本的平均百分比大幅增加,特别是在摘要 (34.36%至46.53%) 和介绍 (32.43%至45.08%).
- 讨论部分还显示了人工智能生成文本的显著增加 (15.73%至25.03%).
- 来自非英语国家的作者发表的AI生成文本比例更高.
结论:
- 聊天GPT的引入显然改变了耳鼻喉科研究中的写作实践.
- 人工智能产生的内容的准确性和科学出版物中错误信息的可能性存在担忧.
- 持续的研究对于解决人工智能,科学传播和出版物完整性之间的不断变化的动态至关重要.
