人类审查员区分人类撰写或人工智能生成的医学手稿的能力:随机调查研究

科学领域:

• 医学写作 医学写作
• 人工智能在医学中的应用
• 学术出版学术出版公司

背景情况:

• 生成型人工智能 (AI) 的日益复杂化引发了关于其在学术医学写作中的应用的问题.
• 将人工智能生成的内容与人类撰写的手稿区分开来,对于保持学术完整性和科学严谨性至关重要.

研究的目的:

• 评估医生区分人类撰写和人工智能生成的医学手稿的能力.
• 确定影响这种差异化准确性的因素.

主要方法:

• 对51名医生进行了前性随机调查研究.
• 参与者审查了盲目手稿,一些是人类撰写的,一些是人工智能使用ChatGPT 3.5生成的,并表示他们认为的作者.
• 主要结果是审稿人的准确性;次要结果探讨了影响因素.

主要成果:

• 医生在区分人工智能生成与人类撰写的手稿方面表现出较低的准确性,总体特异性为55.6%,灵敏度为31.2%.
• 对于高影响因子手稿,与低影响因子手稿相比,观察到更高的准确性.
• 与人工智能工具的频繁互动与正确识别的可能性更高有关,尽管学术等级和审查经验不是重要的预测因素.

结论:

• 创造性AI,以ChatGPT为例,可以产生与人类写的无法区分的医学手稿.
• 这些发现凸显了在学术医学出版物中检测人工智能产生的内容的挑战.
• 需要进一步的研究来开发强大的方法来识别人工智能生成的内容.