人类研究人员在撰写医学系统性审查时优于大型语言模型,在比较多任务评估中优于大型语言模型

科学领域:

• 医疗信息学 医疗信息学
• 研究中的人工智能.
• 科学出版科学出版

背景情况:

• 对用于科学研究的大型语言模型 (LLM) 的兴趣日益增长.
• 需要评估LLM在系统文献审查任务中的表现.
• 与人类研究人员进行比较作为基准是必不可少的.

研究的目的:

• 评估和比较六个LLM与人类研究人员在系统文献审查任务中的表现.
• 评估LLM在文献搜索,选,数据提取,分析和起草方面的能力.
• 随着时间的推移,跟踪不同版本的LLM改进.

主要方法:

• 系统文献审查过程分为三个任务:文献搜索/选择,数据提取/分析和论文起草.
• 在这些任务上评估了六种不同的LLM.
• 结果与人类制造的系统审查 (参考标准) 相比较.
• 在两轮评估中进行评估,以评估LLM版本的改进.

主要成果:

• 最好的LLM在文献搜索中确定了18个目标文章中的13个 (任务1).
• 数据提取和分析 (任务2) 是部分准确和繁的.
• 由LLM生成的论文 (任务3) 是简短的,没有鼓舞人心的,并且经常不遵守PRISMA 2020指南.

结论:

• 目前,在没有提示工程策略的情况下,LLM不能独立进行医学系统性审查.
• 法律法学士表现出快速的进步,并且可以在适当的人类监督下为系统审查任务提供有价值的支持.
• 未来的研究应该专注于完善快速工程和监督方法,以便有效地将LLM整合到科学工作流程中.