回到现实:学习数据高效的3D物体探测器与形状指导

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 三维重建的3D重建

背景情况:

• 3D对象检测通常需要广泛的盒级注释,这些注释需要大量的劳动力来创建.
• 弱监督的方法通过使用较少详细的注释提供了一个潜在的解决方案,但往往受到性能限制.
• 现有的方法很难弥合稀疏的位置级标签和强大的3D检测所需的密集信息之间的信息差距.

研究的目的:

• 为3D物体检测开发一种新的弱监督方法,只使用位置级注释 (物体中心和类别) 训练一个强大的探测器.
• 通过利用合成数据和域调整技术来克服位置级注释中固有的信息丢失.
• 显著减少训练高性能3D物体检测模型所需的注释工作.

主要方法:

• 提出一种以形状为导向的标签增强方法,以从现实世界的位置级数据中生成带有盒级注释的虚拟场景.
• 虚拟到现实领域的适应被用来从合成场景转移知识,以改进现实世界的注释和监督探测器培训.
• 引入了区分标签增强和标签辅助自我训练策略,以优化虚拟场景,并为完全监督的培训生成伪盒标签.

主要成果:

• 拟议的弱监督方法在ScanNet和Matterport3D数据集上实现了最先进的性能,优于现有的弱监督和半监督方法.
• 该方法的检测性能与流行的完全监督的方法相提并论.
• 与完全监督的方法相比,这种方法需要少于5%的标签劳动力,显示出显著的效率提升.

结论:

• 开发的弱监督的3D对象检测框架有效地利用合成数据和域调整来弥补有限的注释.
• 该方法为训练精确的3D探测器提供了实用和高效的解决方案,大大降低了注释成本.
• 这项工作为在现实应用中更容易访问和可扩展的3D对象检测铺平了道路.