冈巴:将高斯斯普拉特与曼巴结合起来,实现单视图3D重建
概括
甘巴从单个图像中实现了以毫秒速度的3D重建,使用了基于Mamba的新型网络和强大的高斯约束. 这种端到端的模型显著加速了3D资产的创建,超过了现有的方法.
科学领域:
- 计算机视觉 计算机视觉
- 计算机图形 计算机图形
- 人工智能的人工智能
背景情况:
- 单视图3D重建是计算密集型的.
- 现有的方法往往需要广泛的培训或优化.
- 从有限的输入中高效准确地生成3D资产是一个关键的挑战.
研究的目的:
- 开发一个能够产生毫秒速度的端到端3D重建模型.
- 引入一种新的架构,以实现高效的3D高斯分片 (3DGS) 重建.
- 通过消除对3D点云升温监督的需求来增强强性.
主要方法:
- 介绍了GambaFormer,这是一个基于Mamba的网络,用于连续的3DGS预测,具有线性可扩展性.
- 开发了从多视图面具获得的辐射面具约束,用于强大的训练.
- 在Objaverse数据集上训练模型,并在GSO数据集上进行评估.
主要成果:
- 甘巴使用3DGS实现了端到端的单视图3D重建.
- 在单个NVIDIA A100 GPU上,重建在0.05秒内完成,比基于优化的方法快大约1000倍.
- 与现有方法相比,证明了具有竞争力的定性和定量发电能力.
结论:
- 甘巴在高效和快速的单视图3D重建方面取得了重大进展.
- 基于Mamba的架构和新的限制使得前所未有的速度和准确性成为可能.
- 这项工作为实时3D资产生成应用铺平了道路.


