对现实世界化学和材料科学应用的微调大型语言模型的评估

科学领域:

• 计算化学的计算化学
• 化学中的人工智能.
• 机器学习用于化学应用.

背景情况:

• 目前的大型语言模型 (LLM) 具有有限的固有化学知识.
• 微调LLM已经成为一种赋予它们学习和预测化学性能的方法.
• 机器学习培训中的自然语言处理可以通过消除对专门的特征化技术的需求,扩大化学家的访问范围.

研究的目的:

• 探索使用微调的LLM用于化学预测任务的能力和限制.
• 与已建立的机器学习模型对准微调的开源LLM的性能.
• 评估使用LLM用于简单的分类和更复杂的化学问题的可行性.

主要方法:

• 微调了三个开源的LLM:GPT-J-6B,Llama-3.1-8B和米斯特拉尔-7B.
• 评估各种化学问题和数据集的模型性能.
• 将微调的LLM性能与传统的机器学习模型进行比较.

主要成果:

• 微调的LLMs在简单的化学分类任务中被证明优于传统的机器学习模型.
• 化学数据集的转换成LLM培训集被发现是直接的.
• 即使使用相对较小的微调数据集,也成功开发了预测模型.
• LLM 证明了解决更复杂化学问题的能力,这取决于数据集大小和问题的复杂性.

结论:

• 微调的LLM提供了一种强大且易于使用的化学性质预测方法.
• 数据集转换的方便性和小数据集的有效性凸显了LLM的潜力.
• 系统地应用LLM可以通过指导实验和模拟来显著增强研究,从而最大限度地减少冗余的努力.