跨越不同化学领域的转移学习:使用在小分子和化学反应数据上预训练的深度学习模型对有机材料进行虚拟选
Chengwei Zhang1, Yushuang Zhai1, Ziyang Gong2
1State Key Laboratory Breeding Base of Green Chemistry-Synthesis Technology, Key Laboratory of Green Chemistry-Synthesis Technology of Zhejiang Province, College of Chemical Engineering, Zhejiang University of Technology, Hangzhou, 310014, Zhejiang, China.
Journal of cheminformatics
|July 31, 2024
概括
使用预训练的BERT模型进行转移学习,可以增强有机材料的虚拟选. 在药物样分子 (USPTO-SMILES) 上进行预训练,比其他方法显著提高了性能.
科学领域:
- 计算化学计算化学
- 材料科学 材料科学 材料科学
- 人工智能的人工智能
背景情况:
- 机器学习 (ML) 为有机材料提供了具有成本效益的虚拟选.
- 有限的标签数据阻碍了对有机材料的ML模型培训.
研究的目的:
- 通过使用类似药物的小分子和化学反应数据库,研究预训练BERT模型的有效性.
- 通过转移学习,提高BERT模型在有机材料虚拟选中的性能.
主要方法:
- 在USPTO-SMILES数据集 (类似药物的分子和反应) 上预训练BERT模型.
- 在五个不同的有机材料虚拟选任务上微调预训练的BERT模型.
- 将性能与其他数据库和传统的ML模型上预训练的模型进行比较.
主要成果:
- 在USPTO-SMILES上预训练的BERT模型在三个任务中获得了R2>0.94和在两个任务中获得了R2>0.81.
- 在USPTO-SMILES预训练模型的表现优于在小分子/有机物质数据库上预训练的模型.
- 与直接在虚拟查数据上训练的三种传统的ML模型相比,性能优越.
结论:
- 从各种化学领域 (如USPTO-SMILES) 转移学习对于有机材料虚拟选是可行的和有效的.
- USPTO数据库的广泛化学空间覆盖有助于增强模型性能.
- 更多的改进是可能的反应数据库涵盖更广泛的各种反应.
