AdaGen:学习图像合成的自适应政策

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 像MaskGIT,扩散和流动模型这样的生成模型将合成分解为步骤.
• 代需要配置特定的参数 (例如,面罩比,噪音水平).
• 目前的方法使用静态,手动设计的时间表,缺乏适应性,需要专家调整.

研究的目的:

• 介绍AdaGen,一个通用,可学习和样本适应的框架,用于调度代图像生成.
• 解决生成模型中静态时间表的局限性.
• 在图像合成中提高性能,灵活性和效率.

主要方法:

• 制定计划作为马尔科夫决策过程 (MDP).
• 采用轻量级政策网络,通过强化学习进行培训,以调整参数.
• 为有效的政策培训提出对抗性奖励设计.
• 整合一个推断时间精炼策略和一个忠诚度-多样性权衡机制.

主要成果:

• 在五个基准数据集 (ImageNet,MS-COCO,CC3M,LAION-5B) 和四个生成范式中,AdaGen展示了优越性.
• 在 DiT-XL 上实现了更好的性能,推断成本降低了大约 3 倍.
• 将VAR的FID从1.92提升到1.59,使用最小的计算开销.

结论:

• 在代生成模型中,AdaGen为适应性调度提供了一种灵活和有效的方法.
• 对抗性奖励设计对于可靠的质量和多样性至关重要.
• 在复杂的图像合成任务中,AdaGen显著提高了效率和性能.