评估GPT模型用于基于废水的流行病学的自动化文献选

科学领域:

• 环境科学 环境科学
• 公共卫生 公共卫生
• 计算机科学 计算机科学

背景情况:

• 基于废水的流行病学 (WBE) 需要有效的公共卫生文献综合.
• 分析对WBE至关重要,但受到手册文献选的阻碍.
• 需要自动查方法来加快基于证据的公共卫生反应.

研究的目的:

• 评估GPT-3,GPT-3.5和GPT-4模型,用于对WBE出版物的自动选进行元分析.
• 评估AI模型在识别原始数据和相关研究细节方面的表现.
• 确定人工智能辅助的文献选在WBE中的成本效益和局限性.

主要方法:

• 使用GPT-3,GPT-3.5和GPT-4模型来选WBE文献摘要.
• 基于精度和回忆来识别原始数据的评估模型性能.
• 在检测报告采样地点的研究中评估准确性.
• 分析了不同模型配方对输出质量的影响.

主要成果:

• 在将论文与原始数据区分时,GPT-4表现出高准确度 (精度=0.96,回忆=1.00).
• 人工智能查超出了手工查质量标准 (回忆=0.95) 的低成本 (<0.01美元/纸).
• 在确定相关采样地点时,GPT模型的准确性较低,这表明需要人类监督.
• 一些AI模型选择产生了毫无意义的结果,强调了强度的重要性.

结论:

• 人工智能辅助的文献选,特别是GPT-4,可以显著加快WBE的元分析.
• 人类干预对于特定的数据点至关重要,例如采样地点和确保AI可靠性.
• 人工智能提供了一个具有成本效益的补充工具,以提高公共卫生研究综合的速度和效率.