S-NeRF++:通过神经重建和生成进行自动驾驶模拟

科学领域:

• 计算机视觉 计算机视觉
• 机器人技术 机器人技术 机器人技术
• 人工智能的人工智能

背景情况:

• 传统的自动驾驶模拟器由于手动建模和2D编辑而难以实现可扩展性和现实的数据生成.
• 提高自动驾驶数据和模拟罕见场景对于导航安全至关重要.

研究的目的:

• 推出S-NeRF++,一种基于神经重建的创新系统,用于自动驾驶模拟.
• 为了生成现实的街景,前景对象和各种各样的车辆资产来创建全面的场景.
• 提高自动驾驶研究模拟数据的质量和灵活性.

主要方法:

• 使用神经辐射场 (NeRF) 对大规模场景和移动车辆进行增强.
• 通过噪音和稀疏的LiDAR数据改进场景参数化和摄像头姿势学习.
• 开发一条前景背景融合管道,结合照明和影子效果,以增强现实主义.

主要成果:

• S-NeRF++从像nuScenes和Waymo.com这样的数据集中生成高质量的,现实的街景和前景对象.
• 该系统有效地处理杂的LiDAR数据和深度异常值,以便进行可靠的重建.
• 一个多样化的重建车辆资产银行支持灵活的场景创建.
• 前景-后景融合通过集成的照明和阴影增强了模拟现实性.

结论:

• S-NeRF++提供了一种强大而灵活的自动驾驶模拟系统.
• 高质量的模拟数据显著提高了下游任务中感知方法的性能.
• 这种方法证明了神经重建在推进自动驾驶模拟方面的有效性.