为环境复杂性利用LLM:结构化微调数据集和部署策略

科学领域:

• 环境科学 环境科学
• 人工智能的人工智能
• 数据科学数据科学数据科学

背景情况:

• 生成型人工智能 (AI),特别是大型语言模型 (LLM),有可能推进环境分析.
• 部署的挑战包括有限的结构化领域知识和不清楚的决策策略.
• 现有的人工智能模型在复杂的环境决策环境中缺乏适应性.

研究的目的:

• 开发一个以中国为中心的环境知识数据集,用于LLM微调和基准测试.
• 评估环境决策中微调和通用LLM之间的性能权衡.
• 为环境情报中的LLM提出一个分层部署战略.

主要方法:

• 建立基于教科书的,分层组织的环境知识数据集.
• 对标准化环境任务的专用数据集进行微调LLM.
• 在代理工作流程和决策任务中对微调模型与最先进的通用模型进行比较.
• 在精度,响应效率,适应性和系统级可持续性方面评估模型性能.

主要成果:

• 微调模型在标准化任务上显示了精度 (+1%) 和效率 (+52%) 的适度提高,但在代理工作流程中适应性有限 (-3%).
• 在系统层面的可持续性和跨学科任务 (+10%) 中,通用主义模型的表现优于系统层面的可持续性和跨学科任务 (+10%),展示了卓越的跨领域推理和工具集成.
• 在环境应用中,LLM的专业微调和广泛的适应性之间存在一种权衡.

结论:

• 对于环境智能,建议采用分层的LLM部署策略.
• 选择性微调适用于稳定,监管和验证任务.
• 使用通用模型的代理工作流对动态,数据密集型和跨学科的决策有效.
• 该研究提供了可重复使用的数据集和用于部署LLM作为环境决策支持工具的框架.