MotionCrafter:用于扩散模型的插即用运动指南

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 文本到视频传播模型在内容多样性方面表现出色,但在特定的运动控制方面却存在困难.
• 控制角色动作,物体运动和摄像机运动需要比单纯的文字提示提供更精确的指导.

研究的目的:

• 介绍MotionCrafter,这是一种用于定制视频动作的一次性实例引导的新方法.
• 为了有效地解开视频剪辑中的外观和运动,以提高控制能力.
• 以使用用户指定的参考视频来实现精确的运动指导.

主要方法:

• MotionCrafter采用平行时空架构,将参考运动集成到时间组件中.
• 建议采用双分支运动解方法,并进行特定的损失和外观先前增强.
• 一个时间阶段层次的调整策略将扩散模型集中在运动级信息上.

主要成果:

• MotionCrafter成功地整合了动态运动,同时保持了基本模型的连贯性和质量.
• 该方法允许广泛的外观生成功能和风格控制.
• 实验证明了有效的动作定制和用户对生成视频的偏好.

结论:

• MotionCrafter为文本到视频和文本到图像扩散模型中的动作定制提供了一个强大的解决方案.
• 该方法促进了带有特定动态运动和各种艺术风格的视频的生成.
• 这种方法增强了用于个性化视频创建的生成模型的实际应用.