VolGen:用于3D对象生成的体积度隐藏扩散模型
概括
我们介绍了一个体积隐性扩散模型 (VLDM) 用于3D对象生成. 该模型有效地使用新型体积方法从图像中创建精确的3D网格.
科学领域:
- 计算机视觉 计算机视觉
- 3D 深度学习是什么
- 生成型模型 生成型模型
背景情况:
- 2D隐性扩散模型,如稳定扩散,在图像生成方面表现出色.
- 从有限的输入中生成高保真度3D对象仍然是一个挑战.
- 现有的3D生成方法通常依赖于复杂的表示.
研究的目的:
- 将2D隐性扩散模型扩展到对象生成的3D领域.
- 开发一种计算效率高的3D网格生成方法.
- 为了证明基于体积的潜在扩散对3D任务的有效性.
主要方法:
- 训练一个体积变量自动编码器 (VVAE),将3D占用网格压缩成一个紧的隐藏空间.
- 开发一个在这种潜伏空间上运行的扩散模型,使用3D卷积和交叉注意力.
- 实现一个体积隐性扩散模型 (VLDM) 用于单视图的3D对象重建.
主要成果:
- 从单视图图像中,VLDM成功地生成了准确而光滑的3D网状表面.
- 该模型实现了高效的推理,在大约10秒内完成生成.
- 这种方法显示出强大的概括能力,用于未见的领域.
结论:
- 基于体积的潜在扩散模型对于3D生成任务是有效的.
- 这种方法为稀疏表示和专业的3D技术提供了一个有希望的替代方案.
- 在高效和准确的3D对象合成中,VLDM代表了显著的进步.


