一般的3D视觉语言模型具有快速染和预训练视觉语言对齐
概括
本研究介绍了WS3D++,这是一种用于3D场景理解的框架,它在有限的标签上表现出色. 它可以实现开放的词汇识别,并实现对3D点云的语义和实例细分的最先进性能.
科学领域:
- 计算机视觉 计算机视觉
- 机器学习 机器学习
- 3D场景理解 3D场景理解
背景情况:
- 对于3D场景理解的深度神经网络通常需要广泛的标记数据,并与新型对象类别进行斗争.
- 当前的方法在识别看不见的类方面面临局限性,并且在稀缺的标签上通常表现不佳.
研究的目的:
- 为3D点云细分和检测开发一个通用的框架,该框架可以在有限的标记数据中有效执行.
- 为了使开放的词汇3D场景理解,允许识别超出培训集的新类别.
主要方法:
- 一个等级化的特征一致的预培训和知识蒸策略,以利用大规模的视觉语言模型.
- 一个基于能源的损失函数,结合了边界意识,以改善区域级预测.
- 一个无监督的区域级语义对比学习方案,用于点云实例歧视.
主要成果:
- 在有限数据的语义和实例细分方面,WS3D++在ScanNet基准上取得了最先进的结果.
- 在S3DIS和SemanticKITTI数据集上展示了卓越的数据效率学习性能,适用于室内和室外场景.
- 通过广泛的实验,验证了在开放世界的少量学习场景中的有效性.
结论:
- 拟议的WS3D++框架有效地解决了3D场景理解中有限的标记数据的挑战.
- 这种方法促进了开放词汇的识别,并在数据效率高和少数拍摄的学习环境中实现了最先进的性能.
- 公共可用的代码和模型将有利于未来的3D点云分析研究.
