医学研究摘要的比较 由外科实习生和高级外科医生撰写或由大型语言模型生成

科学领域:

• 医学研究方法论医学研究方法论.
• 科学写作中的人工智能
• 自然语言处理应用程序

背景情况:

• 人工智能 (AI),特别是像ChatGPT这样的大型语言模型,在学术界越来越多地使用.
• 然而,它在生成和评估医学研究摘要方面的应用和有效性仍未得到充分探索.
• 这项研究通过评估AI在医学抽象创建和分级方面的能力来解决这一差距.

研究的目的:

• 评估AI聊天机器人 (ChatGPT版本3.5和4.0) 产生医学研究摘要的能力.
• 评估这些人工智能模型在评分医学研究摘要中的表现.
• 将人工智能生成的摘要及其分级与人类研究人员生成的摘要进行比较.

主要方法:

• 一项涉及ChatGPT版本3.5 (聊天机器人1) 和4.0 (聊天机器人2) 的横截面研究.
• 人工智能模型使用提供的数据和文献生成了10个摘要,以及由手术学员和高级作者撰写的10个人类撰写的摘要.
• 摘要被盲目的外科医生审稿人和人工智能模型本身在10和20点的尺度上评估和排名.

主要成果:

• 外科医生审稿人无法区分人工智能生成的摘要和人类撰写的摘要.
• 在居民,高级作者或聊天机器人1生成的摘要之间的中位数或排名中没有发现显著差异.
• 聊天机器人2比外科医生审稿人和聊天机器人1对摘要的评分更为有利,这表明AI评分严格性的潜在差异.

结论:

• 训练有素的人工智能聊天机器人可以制作医学研究摘要,其质量与人类研究人员撰写的内容相当.
• 聊天机器人1的评分与专家评审人员一致,而聊天机器人2则表现出更宽松的评分方法.
• 这些发现表明,人工智能对外科医生科学家在医学研究中的潜在实用性,考虑了模型特定的性能.