通过辅助学习和特定任务的适应来提高分子性质预测
Vishal Dey1, Xia Ning2,3,4
1Department of Computer Science and Engineering, The Ohio State University, Columbus, 43210, OH, USA.
Journal of cheminformatics
|July 25, 2024
概括
将预训练的图形神经网络 (GNN) 与辅助任务相适应,可以改善分子性质预测. 新的方法,包括渐变手术,增强了超越标准微调的概括性,这对于有限数据的药物发现至关重要.
科学领域:
- 计算化学的计算化学
- 机器学习 机器学习
- 药物发现 药物发现 药物发现
背景情况:
- 预训练的图形神经网络 (GNN) 对分子性质预测至关重要.
- 标准微调的GNN往往导致糟糕的概括.
- 有效地调整预训练模型对于推进分子任务至关重要.
研究的目的:
- 提高预训练的GNN对分子性质预测的概括性.
- 调查辅助学习策略,以适应GNN.
- 为了应对模型调整中负转移的挑战.
主要方法:
- 联合训练预先训练有素的GNN与多个辅助任务.
- 制定策略来衡量辅助任务的相关性.
- 实现适应性梯度组合和双层优化,以实现任务权重.
- 提出了一种新的梯度手术技术,即冲突梯度的旋转.
主要成果:
- 与传统微调相比,提出的方法提高了高达7.7%的性能.
- 证明了辅助学习在提高GNN通用性的有效性.
- 展示了新型梯度手术技术的有效性.
结论:
- 辅助任务集成是一种有效的策略,用于提高在分子性质预测中预训的GNN通用性.
- 拟议的框架比标准的预训练-微调方法提供了显著的进步.
- 这项工作为药物发现提供了有价值的工具,特别是在数据有限的场景中.
