基于知识蒸的鱼眼相机单眼深度估计
Eunjin Son1, Jiho Choi1, Jimin Song1
1Division of Electronic Engineering, Jeonbuk National University, 567 Baekje-daero, Deokjin-gu, Jeonju 54896, Republic of Korea.
Sensors (Basel, Switzerland)
|December 23, 2023
概括
研究人员开发了一个新的数据集用于鱼眼摄像机深度估计,并使用知识蒸来提高模型性能. 这种技术通过改进从广角视图的深度预测来提高自动驾驶系统的碰撞避免.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 自主系统 自主系统
背景情况:
- 单眼深度估计可以预测单个图像的距离,这对于自动驾驶和机器人技术至关重要.
- 鱼眼相机提供了广的视野,对于在停车场避免碰撞至关重要,但从它们扭曲的图像中估计深度是具有挑战性的.
- 现有的研究主要使用针孔摄像机模型,缺乏对鱼眼透镜特征和公共数据集的关注.
研究的目的:
- 介绍JBNU-Depth360,这是一个新的数据集,用于在地下停车场进行鱼眼摄像头深度估计.
- 使用知识蒸技术提高最先进的深度估计模型的性能.
- 在新的JBNU-Depth360和现有的KITTI-360数据集上评估拟议方法的有效性.
主要方法:
- 从六个驱动序列收集了4221个鱼眼图像和LiDAR投影对,用于JBNU-Depth360数据集.
- 实施了教师-学生知识蒸框架,以从密集的深度预测和稀疏的LiDAR数据中传输信息.
- 在使用JBNU-Depth360和KITTI-360数据集对鱼眼图像进行现有深度估计模型的训练和评估.
主要成果:
- 在JBNU-Depth360数据集包括4221个鱼眼图像和相应的LiDAR点云.
- 自蒸显著提高了深度估计的准确性,在JBNU-Depth360数据集上,AbsRel误差降低了1.81%,SILog误差降低了1.55%.
- 实验结果证实了自蒸的好处,即通过鱼眼相机数据提高深度估计性能.
结论:
- JBNU-Depth360数据集解决了对鱼眼摄像头数据进行深度估计研究的需求.
- 知识蒸是一种有效的技术,可以从鱼眼图像中改进单眼深度估计.
- 拟议的方法有助于为自主应用程序提供更安全,更强大的感知系统.
相关概念视频
01:15Depth Perception and Spatial Vision
668
Depth perception is the ability to perceive objects three-dimensionally. It relies on two types of cues: binocular and monocular. Binocular cues depend on the combination of images from both eyes and how the eyes work together. Since the eyes are in slightly different positions, each eye captures a slightly different image. This disparity between images, known as binocular disparity, helps the brain interpret depth. When the brain compares these images, it determines the distance to an object.
668
01:16Focusing of Light in the Eye
2.8K
Light rays enter the eye through the cornea, a transparent dome-shaped tissue that is the eye's outermost layer. The cornea bends or refracts, light rays traveling to the pupil. The shape of the cornea determines how much of the light is bent and whether the image will be focused correctly on the retina at the back of the eye. Once the light has passed through both refraction layers, it converges into a single focal point onto a small area. This is where photoreceptors start transforming...
2.8K