用PICOS做得更快:生成人工智能辅助的系统审查选

科学领域:

• 医疗信息学 医疗信息学
• 研究中的人工智能.

背景情况:

• 系统性审查 (SRs) 需要大量的时间,特别是选阶段.
• 大型语言模型 (LLM) 显示出加速选的希望.
• 对于LLM生成的结构化PICOS摘要对审查员的帮助的实用性尚未被探索.

研究的目的:

• 评估LLM生成的结构化PICOS摘要对选速度和准确性的影响.
• 评估开源LLM (Mistral-Nemo-Instruct-2407) 在创建这些摘要中的表现.

主要方法:

• 四名神经学实习生,按经验划分,选了1003篇文章.
• 两个审稿人收到了标题,摘要和LLM生成的PICOS摘要.
• 两个审稿人只收到标题和摘要;选时间和指标被记录下来.

主要成果:

• 在PICOS的帮助下,审查人员的查速度提高了75%,并实现了100%的灵敏度.
• 辅助审稿人表现出更高的准确性 (99.9%),特异性 (99.9) 和F1评分 (98.0%).
• 一个经验较少的评审员在PICOS的帮助下表现优于一个没有帮助的经验丰富的评审员.

结论:

• 由LLM生成的PICOS摘要提高了选效率和准确性.
• 人工智能协助赋予不那么有经验的审稿人权力,可能使竞争环境平等.
• 进一步的研究应该探索更广泛的应用和集成到自动化系统.