OMFS专家能否区分人工智能和人类手稿? 使用ChatGPT-4进行双盲评估
1Department of Oral and Maxillofacial Surgery, Geetanjali Dental and Research Institute, Geetanjali University, Eklingpura, 313001, Udaipur, Rajasthan, India; Department of Dental Research Cell, Dr. D. Y. Patil Dental College and Hospital, Dr. D. Y. Patil Vidyapeeth, Pimpri, 411018, Pune, Maharashtra, India; Department of Oral and Maxillofacial Surgery, Narsinhbhai Patel Dental College and Hospital, Sankalchand Patel University, Visnagar, 384315, Gujarat, India.
概括
经验丰富的外科医生发现,人工智能生成的手稿可读,但缺乏科学深度和引用准确性. 虽然人工智能文本通常无法与人类写作区分开来,但专家监督对于学术完整性至关重要.
科学领域:
- 口腔和牙面部外科手术
- 在学术界的人工智能.
- 科学出版科学出版
背景情况:
- 像ChatGPT-4这样的生成性AI工具在学术写作中越来越多地使用.
- 对人工智能产生的内容的可信度,科学深度和可检测性存在担忧.
- 专家识别人工智能撰写的科学手稿的能力需要评估.
研究的目的:
- 评估经验丰富的口腔和面外科医生 (OMFS) 是否能够区分人工智能和人类撰写的手稿.
- 为了比较人工智能和人类撰写的手稿的连贯性,科学严谨性,引用准确性和整体质量.
- 评估人工智能生成的科学内容的可检测性.
主要方法:
- 三个核心的OMFS主题被选中用于手稿生成.
- 手稿是由ChatGPT-4和高级OMFS临床医生独立撰写的.
- 20名经过董事会认证的OMFS审稿人评估了手稿的可读性,科学深度,参考准确性,写作质量和严谨性,并试图识别作者身份.
主要成果:
- 与人工智能生成的手稿相比,人类撰写的手稿显示出更高的科学深度,参考准确性和写作质量.
- 人类和人工智能文本之间的可读性和一致性得分是可比的.
- 审稿人无法可靠地区分人工智能和人类撰写的手稿 (54%的准确率),这表明AI的表面流性.
结论:
- 聊天GPT-4可以生成结构健全和可读的OMFS手稿.
- 人工智能生成的内容在科学推理和引用准确性方面存在缺陷,需要专家审查.
- 透明披露和编辑保障对于保持科学完整性至关重要,因为人工智能集成到学术工作流程中.
