Sketch2Human:深层次的人类世代与解散的几何和外观约束
概括
Sketch2Human能够使用语义素描来实现全身可控人体图像生成,用于几何和参考图像的语义素描. 这种新的系统实现了高保真度的结果,超过了现有的方法.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 计算机图形 计算机图形
背景情况:
- 在精确控制几何和外观的情况下生成全身人体图像是具有挑战性的.
- 现有的方法缺乏明确的控制或与人类形状和服装的复杂性作斗争.
- 基于素描的方法显示出希望,但面临着全身生成的忠实性和多样性的局限性.
研究的目的:
- 介绍Sketch2Human,这是第一个可控全身人类图像生成系统.
- 通过语义草图,通过参考图像,通过语义草图和外观来明确控制身体和服装几何.
- 解决现有方法在平衡现实主义和草图忠诚度方面的局限性.
主要方法:
- 使用StyleGAN-Human的潜空间,并使用反向几何和外观潜伏代码.
- 采用了一种在大型合成数据集上训练有素的新型素描编码器,由素描直接监督.
- 介绍了一种独特的训练方案,用于解几何和外观控制,使用几何保存和外观传输数据.
主要成果:
- 通过语义素描和参考图像指导实现可控制的全身人体图像生成.
- 在定性和定量评估中,与最先进的方法相比,表现优越.
- 在处理手绘草图的同时,在合成数据训练方面表现出有效性.
结论:
- Sketch2Human提供了一个强大的解决方案,用于高保真性,可控制的全身人类图像合成.
- 拟议的方法通过允许对几何和外观进行脱而出的控制来推进草图引导生成.
- 这项工作在实现现实和可控的人类图像生成方面迈出了一大步.
