使用大型语言模型对文献评论进行标题和摘要选:生物医学领域的探索性研究

科学领域:

• 生物医学信息学 生物医学信息学
• 研究中的人工智能.
• 科学文献分析 科学文献分析

背景情况:

• 系统的文献选是劳动密集型和具有挑战性的.
• 大型语言模型 (LLM) 为基于语言的研究任务提供了自动化潜力.

研究的目的:

• 评估LLMs在自动化对科学出版物进行系统审查的选方面的实用性.
• 评估基于LLM的分类器在确定基于标题和摘要的出版物相关性的表现.

主要方法:

• 开发了一个使用LLM的自动化系统,以在利克尔特尺度上评估出版的相关性.
• 创建了一个Python脚本来生成LLM的结构提示,包括指令,标题,摘要和相关性标准.
• 在10个现有的生物医学文献审查数据集和一个新的数据集上,用4个LLM测试了该方法.

主要成果:

• 在不同的模型和数据集中,LLM分类器的性能差异很大.
• 灵敏度和特异性范围很广,一些模型实现了高灵敏度但较低的特异性.
• 调整LLM提示符和利克尔特尺度参数显著影响了分类器的性能.

结论:

• 法律法规证明了评估科学出版物相关性的潜力,并为自动选提供了有希望的初步结果.
• 需要进一步的研究,以了解系统性审查中的预期表现和长期影响.
• 在评估和分类科学文献方面,LLM可能会成为越来越多的研究人员不可或缺的工具.