增强图像到LiDAR数据预训练的时空一致性

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 机器人技术 机器人技术 机器人技术

背景情况:

• LiDAR表示学习可以降低注释成本.
• 现有的方法往往忽略了驾驶场景中的时间动态.
• 时空信息对于运动和场景的连续性至关重要.

研究的目的:

• 提出SuperFlow++,一个整合空间时间线索的框架,用于LiDAR表示学习.
• 解决捕捉时间动态现有方法的局限性.
• 建立一个新的数据效率高的基于LiDAR的感知基准.

主要方法:

• 使用连续LiDAR相机对集成时空线索.
• 采用视图一致性对齐模块来实现统一的语义信息.
• 利用密度到稀疏的一致性规范化来实现特征强度.
• 实现基于流程的对比学习,用于时间关系建模.
• 应用时间投票策略用于语义信息传播.

主要成果:

• 在11个不同的LiDAR数据集上,SuperFlow++的性能超过了最先进的方法.
• 该框架在各种任务和驾驶条件中表现出强的性能.
• 缩放2D和3D骨干揭示了可扩展3D基础模型的新兴特性.

结论:

• 超级流++为自动驾驶中的数据效率高的LiDAR感知设定了一个新的基准.
• 该框架提供了强大的通用性和计算效率.
• 该方法为开发可扩展的3D基础模型提供了洞察力.