样本高效的强化学习与分子设计的积极学习

科学领域:

• 计算化学和药物发现
• 科学研究中的人工智能
• 机器学习用于分子设计

背景情况:

• 强化学习 (RL) 对高维问题是有效的,但在复杂的科学环境中,它在样本效率方面存在困难.
• 药物发现需要有效地探索广的化学空间和多参数优化 (MPO).
• 目前的in silico方法,如虚拟选和de novo生成,需要提高复杂模型的样本效率.

研究的目的:

• 为了提高分子设计的强化学习 (RL) 的样本效率.
• 开发和评估一种与RL (RL-AL) 集成的新型主动学习 (AL) 系统,用于多参数优化 (MPO).
• 解决结合RL和AL的挑战,以实现有效的分子发现.

主要方法:

• 积极学习 (AL) 系统与强化学习 (RL) 模型的整合,称为RL-AL.
• 开发一种新的AL方法,专门用于解决分子设计中的多参数优化 (MPO) 问题.
• 与基线RL进行比较分析,使用基于连接体和结构的Oracle函数.

主要成果:

• 对于固定Oracle预算而言,RL-AL显示了生成的访问量增加了5-66倍,计算时间减少了4-64倍.
• 通过RL-AL发现的化合物显示了多参数评分目标的显著丰富,这表明在识别高得分分子方面具有卓越的性能.
• RL-AL方法保持了输出多样性,同时提高了高得分化合物治愈的有效性.

结论:

• 与基线RL相比,RL-AL系统大大加快了寻找新型分子解决方案的速度.
• 这种方法提高了昂贵的计算预言函数的可行性,以前由高成本限制.
• RL-AL方法广泛适用于任何需要提高样本效率和优化的RL领域.