通过自我监督的自蒸对单眼深度进行估计
Haifeng Hu1, Yuyang Feng1, Dapeng Li1
1College of Telecommunications and Information Engineering, Nanjing University of Posts and Telecommunications, Nanjing 210003, China.
Sensors (Basel, Switzerland)
|July 13, 2024
概括
本研究介绍了动态场景中单眼深度估计 (SS-MDE) 的自我监督自蒸. 该方法提高了静态和动态区域的深度准确性,优于现有技术.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 机器人技术 机器人技术 机器人技术
背景情况:
- 自主监督的单眼深度估计在静态场景中表现出色,但由于遮蔽,与动态环境作斗争.
- 在动态场景中与移动物体保持深度一致性是一个重大挑战.
研究的目的:
- 为动态场景专门设计的单眼深度估计 (SS-MDE) 提出一种新的自我监督的自蒸方法.
- 在复杂环境中的静态和动态区域中提高深度估计的准确性.
主要方法:
- 一个具有多尺度解码器和轻量级姿势网络的深度网络使用差异和运动信息预测深度.
- 来自LeReS网络的伪监控完善了静态区域深度,其中一个忘记因子减轻了依赖.
- 一个具有多视图面膜过器的教师-学生模型框架增强了功能提取和噪声过.
主要成果:
- 与最先进的技术相比,SS-MDE方法在四个公共数据集上取得了卓越的性能.
- 在NYU-Depth V2.2.上实现了89%的准确性 (δ1) 和0.102 AbsRel误差.
- 在KITTI数据集上获得了87%的准确性 (δ1) 和0.111的AbsRel误差.
结论:
- 拟议的SS-MDE方法在动态场景中显示了增强的概括性和稳定性.
- 自蒸有效地使学生模型能够从教师模型中学习场景结构.
- 该方法显著提升了对现实世界动态应用的自我监督单眼深度估计.


