TR2-D2:树搜索导向轨迹意识微调为离散的扩散微调
Sophia Tang1, Yuchen Zhu2, Molei Tao2
1Department of Computer and Information Science, University of Pennsylvania.
ArXiv
|November 19, 2025
概括
我们介绍了树搜索引导轨迹意识微调离散扩散 (TR2-D2) 的新方法,用于优化扩散模型. TR2-D2通过使用蒙特卡罗树搜索在离散序列中增强了奖励引导的轨迹生成.
科学领域:
- 人工智能的人工智能
- 计算生物学 计算生物学
- 机器学习 机器学习
背景情况:
- 强化学习与随机最佳控制用于扩散模型微调.
- 由于依赖于模型推出,当前的方法可以加强次优轨迹.
研究的目的:
- 引入一个新的框架,TR2-D2,用于优化离散扩散轨迹.
- 通过使用树搜索来克服现有方法的局限性,以实现轨迹感知微调.
主要方法:
- TR2-D2使用蒙特卡罗树搜索 (MCTS) 来生成重播缓冲区.
- 这些缓冲器用于预训练的离散扩散模型的轨迹感知微调.
- 优化目标是基于随机的最佳控制.
主要成果:
- TR2-D2有效地优化了奖励导向的离散扩散轨迹.
- 该框架在单一和多目标微调任务上得到了验证.
- 在生物序列生成中证明了可靠的奖励导向微调.
结论:
- TR2-D2提供了一种有效的方法,用于奖励导向微调离散扩散模型.
- 该方法通过树搜索和重播缓冲器增强了轨迹优化.
- TR2-D2对生物序列生成中的应用有希望.


