它需要一个知道一个-机器学习来识别由ChatGPT编写的OBGYN摘要

科学领域:

• 医疗写作中的人工智能
• 在科学出版中使用自然语言处理.

背景情况:

• 越来越多地使用像ChatGPT这样的AI工具来生成科学摘要,这在真实性验证方面带来了挑战.
• 确保在产科和妇科 (OBGYN) 发表的研究的完整性需要方法来区分人类撰写的内容和人工智能生成的文本.

研究的目的:

• 开发和评估机器学习模型,以优化在OBGYN期刊中检测ChatGPT生成的摘要.
• 评估各种机器学习方法在识别人工智能编写的OBGYN摘要方面的性能.

主要方法:

• 来自Web of Science的2022年75篇原始妇产科医生文章的数据集.
• 聊天GPT被要求为这些文章生成摘要,然后使用Grammarly进行分析.
• 在收集的数据上训练和验证了机器学习模型,包括语言特征和格式.

主要成果:

• 深度学习模型表现出卓越的性能,达到90%的准确性,92%的精度,85%的回忆,AUC为0.95.
• 识别ChatGPT摘要的关键预测因素包括混合英语方言,缺少逗号滥用,正确的动词形式和正确的格式化.
• 这项研究分析了来自12个妇产科医生期刊的摘要,包括高影响力的Q1期刊.

结论:

• 基于机器学习的工具在识别 ChatGPT 编写的 OBGYN 摘要时非常准确.
• 这些人工智能检测工具可以大大有助于维护产科医学的科学文献的质量和真实性.