FlowTurbo:通过多阶段的精细化加速基于流量的图像生成模型

科学领域:

• 人工智能的人工智能
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 基于流的模型提供了具有竞争力的视觉生成质量和推断速度.
• 与扩散模型相比,基于流量模型的有效采样方法尚未得到充分探索.
• 流量匹配可以实现更直的采样轨迹,有利于发电.

研究的目的:

• 开发一个框架,FlowTurbo,以加速基于流量的生成模型的采样过程.
• 提高基于流量模型的采样速度和视觉质量.
• 引入新的技术来减少生成任务中的推理时间.

主要方法:

• 拟议的FlowTurbo框架使用轻量级的速度提炼器来估计稳定的速度输出.
• 引入了伪校正器和样本意识编译以进一步减少推断时间.
• 开发了一种多阶段的精细化技术,将生成分成大型模型的分辨率.
• 实施了阶段意识的部署策略,以优化延迟和吞吐量.

主要成果:

• 在类条件生成中实现了53.1%58.3%的加速度比率,在文本到图像生成中达到29.8%38.5%.
• 在ImageNet上达到2.12 (100 ms/img) 和3.93 (38 ms/img) 的FID,建立了新的最先进的实时生成.
• 在NVIDIA 3090 GPU上,通过SD 3.5 Large实现了~50%的速度改进,FID达到28.05.

结论:

• FlowTurbo有效地加速基于流量的生成模型,而不会改变多步采样范式.
• 该框架适用于各种任务,如图像编辑和inpainting.
• FlowTurbo能够实现实时,高保真图像生成,在该领域设置新的基准.