大型语言模型 (Llama 3和ChatGPT-4o mini) 的验证,用于生物医学系统性审查中的标题和摘要选

科学领域:

• 生物医学研究的研究.
• 信息科学 信息科学
• 人工智能的人工智能是人工智能.

背景情况:

• 科学文献的指数增长需要有效的系统审查方法.
• 手动选标题和摘要是耗时的,容易出现错误.

研究的目的:

• 在系统性审查中验证人工智能 (AI) 工具,以自动化标题和摘要选.
• 为了比较Llama 3 70B和ChatGPT-4o mini与人类审查者的性能.

主要方法:

• 1,081篇文章被人工智能模型 (Llama 3,ChatGPT-4o mini) 和人类审查员选.
• 人工智能模型在三个配置中进行了测试,以评估灵敏度,特异性和预测值.
• 绩效指标包括准确性,正预测值 (PPV) 和负预测值 (NPV).

主要成果:

• 拉玛3 (LLA_2) 获得了77.5%的灵敏度,91.4%的特异性和97.9%的NPV.
• 聊天GPT-4o mini (CHAT_2) 显示了56.2%的灵敏度,95.1%的特异性和96.1%的NPV.
• 两种AI模型都显示出高特异性;ChatGPT-4o mini的整体准确性更高 (92.0%).

结论:

• 人工智能工具显示出在系统文献审查中提高效率和准确性的巨大潜力.
• 仍然需要手动验证来管理假阳性和假阴性.
• 人工智能驱动的查可能会彻底改变生物医学研究和其他依赖文献评论的领域.