3D快照:将3D神经表现的可逆嵌入到一个单一图像中

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 人工智能的人工智能

背景情况:

• 3D神经染实现了照片现实的场景重建,但面临着巨大的存储需求和元宇宙集成的挑战.
• 目前的方法在交互式3D应用程序的传输效率和可扩展性方面扎.

研究的目的:

• 提出一种可逆神经染方法,用于从单个图像 (3D快照) 中生成交互式3D模型.
• 解决现有的神经染技术的存储和传输限制.
• 为了实现高效的3D模型创建和集成在元宇宙环境.

主要方法:

• 将预先训练的神经染模型 (例如,NeRF) 蒸成可视化的图像形式.
• 采用神经图像蒸方法来优化模型表示的三个神经平面.
• 使用动态可逆神经网络将噪音表示嵌入到可信的场景图像表示中.

主要成果:

• 与原始模型和基于视频的方法相比,在数量和质量上证明了有前途的重建质量.
• 使用小型恢复网络 (5 MB) 实现了多个神经染模型 (数十个NeRF) 的紧存储.
• 每个3D场景嵌入都需要最小的存储空间 (160 KB).

结论:

• 拟议的可逆神经染方法可以从单个图像中有效地生成交互式3D模型.
• 这种方法显著减少了存储和传输开销,提高了元宇宙应用程序的可扩展性.
• 它代表了将神经染模型嵌入到图像表示中的一种新解决方案,促进了诸如打印图像中的交互式3D模型等新应用.