相关实验视频
Updated: Sep 13, 2025
06:54
Photorealistic Learned Landscapes for Augmented Reality
Published on: June 27, 2025
169
LiGenCam:从多式LiDAR数据中重建彩色摄像头图像,用于自动驾驶
Minghao Xu1, Yanlei Gu2, Igor Goncharenko3
1Graduate School of Interdisciplinary Information Studies, The University of Tokyo, Tokyo 113-0033, Japan.
Sensors (Basel, Switzerland)
|July 30, 2025
概括
研究人员开发了LiGenCam,这是一种深度学习模型,可以从LiDAR数据中重建相机图像. 这提高了自动驾驶的感知系统冗余性,提高了安全性和可靠性.
科学领域:
- 计算机视觉 计算机视觉
- 自主驾驶系统 自主驾驶系统
- 传感器融合式传感器
背景情况:
- 自动驾驶系统依赖于像LiDAR这样的传感器和摄像头来感知环境.
- 感知系统的冗余性对于4+级自动驾驶汽车的安全至关重要.
- 从LiDAR数据中重建摄像头图像与反向过程相比,是一个尚未探索的领域.
研究的目的:
- 提出一个深度学习模型,LiGenCam,用于从多式联机LiDAR数据重建摄像头图像.
- 提高自动驾驶感知系统的冗余性和稳定性.
- 调查使用LiDAR数据用于图像重建的有效性.
主要方法:
- 开发了基于生成对抗网络 (GAN) 的 LiGenCam 模型.
- 使用了多式联机激光雷达数据 (反射率,环境光,距离).
- 嵌入的像素智能损失和语义细分损失用于引导重建.
主要成果:
- 多模LiDAR数据改善了重建图像的现实性和语义一致性.
- 语义细分损失进一步增强了语义一致性.
- 废弃性研究验证了模型的组件和性能.
结论:
- LiGenCam成功地从LiDAR数据中重建了相机图像.
- 多模LiDAR输入和语义损失有助于提高图像重建质量.
- 该方法为自动驾驶感知中的传感器融合和冗余提供了一种可行的方法.
