视觉边界引导的伪标签用于室内环境中弱监督的3D点云细分

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 3D数据处理 3D数据处理

背景情况:

• 准确的3D点云细分对于室内场景的理解至关重要.
• 对点云细分的弱监督学习方法面临的挑战是,由于复杂的室内环境,前景背景不平衡.
• 手动注释3D点云是劳动密集型和耗时的.

研究的目的:

• 开发一种新的前景感知标签增强方法,用于弱监督的3D点云细分.
• 为了解决室内场景细分中的前景和背景元素之间的性能不平衡.
• 引入一个多功能和便携式模块,改进现有的弱监督的细分技术.

主要方法:

• 将3D点云投射到2D平面上,用于二维图像分割和伪标签生成.
• 将二维伪标签反向投射到三维空间,以训练初始细分模型.
• 从投射图像中利用视觉边界先验来改进伪标签并重新训练模型,形成前景边界先验 (FBP) 模块.

主要成果:

• 拟议的前景边界先行 (FBP) 方法显著提高了3D点云细分性能.
• 在2D-3D-Semantic数据集上的不同架构骨干中证明了有效性.
• 使用基于随机样本和边界框的弱标签策略实现了增强的细分精度.

结论:

• 前置边界前置 (FBP) 是一个有效的插件模块,用于增强弱监督的点云细分.
• 该方法成功地减轻了室内场景细分中的前景背景不平衡.
• 该方法为改善各种应用中的3D点云分析提供了一个便携式解决方案.