可控制的人类视频生成从稀缺的草图

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 计算机图形 计算机图形

背景情况:

• 当前的人类时尚视频世代主要关注姿势控制.
• 由于缺少外观一致和形状变化的数据,现有的方法缺乏基于草图的控制.
• 序列输入要求限制了当前视频生成技术的现实应用.

研究的目的:

• 介绍Sketch2HumanVideo,这是一种用于草图可控的人类视频生成的新方法.
• 为了实现精确的形状运动的多视图控制,使用时间稀疏的草图和姿势序列.
• 为了生成现实的人类视频,外观一致性和形状变化.

主要方法:

• 开发了一种稀疏的草图编码器,用于精确控制形状运动.
• 利用预先训练的模型来合成一个数据集,用不同的形状,外观一致的例子.
• 实施了放大和重新采样计划,以增强生成视频中的高频细节.

主要成果:

• Sketch2HumanVideo通过暂时稀疏的草图,稀疏的姿势序列和参考外观图像实现了草图可控的人类视频生成.
• 与最先进的方法相比,该方法显示出卓越的性能和灵活的控制.
• 生成的视频显示了增强的高频细节,提高了现实性.

结论:

• Sketch2HumanVideo成功地解决了当前人类视频生成的局限性,实现了基于素描的控制.
• 该方法为创建现实的和可控的时尚视频提供了一个新的范式.
• 未来的工作将包括发布代码,以促进进一步的研究和应用.