在基于PRISMA的医学系统性文献审查中实施和评估基于GPT-4的额外审查员

科学领域:

• 医疗信息学 医疗信息学
• 医疗保健中的人工智能
• 系统审查方法论 系统审查方法论

背景情况:

• 系统的文献审查需要大量的人力资源来审查数据.
• 坚持PRISMA框架需要仔细的审查过程.
• 自动化审查过程的部分可以提高效率.

研究的目的:

• 评估GPT-4 API在基于PRISMA的系统性审查中作为补充审查者的可行性和可靠性.
• 在文献选中,比较GPT-4 API与人类审查者的性能.
• 探索AI在简化系统审查工作流程方面的潜力.

主要方法:

• 进行了系统的文献审查,重点关注自然语言处理和用于患者试验匹配的大型语言模型.
• 两个人体审查员和GPT-4 API被用于抽象查.
• 使用LangChain的检索增强生成 (RAG) 方法用于全文文章处理和参数提取.

主要成果:

• 在抽象查期间,在GPT-4 API和人类审查者之间观察到近乎完美的一致性 (科恩卡帕>0.9).
• 在比较GPT-4 API和全文参数提取的人类审稿人时,协议水平较低.
• 该研究评估了抽象选和全文数据提取的评审者间可靠性.

结论:

• 在系统性审查的抽象选阶段,GPT-4 API在系统性审查的抽象选阶段表现出与人类审查员相比较的性能.
• 这些发现表明,GPT-4 API可以作为主要查工具,可能取代一个人类审查员.
• 需要进一步的研究来优化AI在系统审查的全文分析中的作用.