一个科学文章关键洞察力提取系统,基于微调的开源大语言模型的多个参与者

科学领域:

• 人工智能的人工智能
• 计算语言学 计算语言学
• 图书统计学 图书统计学

背景情况:

• 科学出版物的快速增长需要自动化方法来组织和提取信息.
• 手动文献评论是耗时的,并且很难跟上研究成果的步伐.

研究的目的:

• 调查大型语言模型 (LLM) 在从科学文章中提取关键见解方面的有效性.
• 开发和评估一个基于LLM的系统 (ArticleLLM),用于文章级别的关键洞察力提取.
• 通过微调和探索多个参与者LLM方法来提高LLM的性能.

主要方法:

• 与手动提取基准相比,对领先的LLM (GPT-4.0,Mixtral 8x7B,Yi,InternLM2) 的评估.
• 开发了使用微调的LLMs的ArticleLLM系统.
• 实施多个参与者LLM战略,以结合单个模型的优势.

主要成果:

• 从科学文献中提取准确的关键洞察力,LLM具有显著的潜力.
• 微调可以提高单个LLM对此任务的性能.
• 多参与者方法,合并多个微调的LLM,与单个模型相比,产生更高的提取性能.

结论:

• 在科学文章中,LLM是实现和有效的工具,用于自动化关键洞察力提取.
• 多个精心调整的LLM之间的合作提高了学术文献调查和知识发现的效率.
• 文章LLM系统和多个参与者的方法为管理和综合科学信息提供了一个有希望的方向.