HOLI-1-to-3:短暂增强的整体图像到3D的生成
IEEE transactions on pattern analysis and machine intelligence
|September 18, 2024
概括
通过合并可见和隐藏区域成像,HOLI-1-to-3从一个图像中恢复完整的3D对象形状. 这种新的技术使用先进的传感器和人工智能进行准确的3D形状重建.
科学领域:
- 计算机视觉 计算机视觉
- 三维重建的3D重建
- 计算成像技术的成像
背景情况:
- 单一视角的3D形状恢复仍然具有挑战性,原因是遮.
- 现有的方法难以准确地重建不可见的物体部分.
研究的目的:
- 引入HOLI-1-to-3,一种用于从单个视角输入中整体的3D形状恢复的新技术.
- 为了有效地结合视线 (LOS) 和非视线 (NLOS) 成像,进行完整的3D重建.
主要方法:
- 利用超快的飞行时间 (ToF) 传感器和扩散模型进行3D形状推断.
- 采用一种新的神经全光学表示,将辐射和瞬态场统一起来.
- 优化技术通过一个两阶段管道与扩散和短暂的先验.
主要成果:
- 从单一视图中准确和连续地重建可见和不可见的物体部分.
- 通过解决看不见的物体部分的模糊性,大大提高了整体生成质量.
- 在模拟和现实世界数据集上都表现出有效性.
结论:
- 通过整合LOS和NLOS信息,HOLI-1-to-3可实现全面的3D形状恢复.
- 该技术在解决单视图3D重建的挑战方面取得了重大进展.
- 实验验证证证实了拟议方法的稳定性和有效性.
