单向多模式知识蒸用于双向LiDAR-摄像头语义细分的单向多模式知识蒸

科学领域:

• 计算机视觉 计算机视觉
• 机器人技术 机器人技术 机器人技术
• 机器学习 机器学习

背景情况:

• 结合LiDAR和摄像头数据用于语义细分,为自主系统提供了显著的潜力.
• 激光雷达 (点云) 和图像 (像素) 之间的异质性提出了模式对齐的挑战,阻碍了跨模式融合.
• 现有的方法在图像平面之外的投影点和有限的数据增强方面扎,原因是几何不一致.

研究的目的:

• 为语义细分开发一种强大的跨模式方法,克服模式对齐问题.
• 即使缺少传感器数据 (例如图像),也可以实现可靠的预测.
• 通过数据增强,提高跨模式网络培训的有效性.

主要方法:

• 建议采用双向特征融合策略,同时归纳缺失的图像特征并执行交叉模式的融合.
• 一个单向多模式知识蒸 (U2MKD) 框架将知识从单模式教师转移到跨模式学生网络.
• 该方法解决了增强错位问题,并增强了学生网络培训.

主要成果:

• 在nuScenes,Waymo和SemanticKITTI数据集上的实验验验证了拟议的方法的有效性.
• 该方法在NuScenes验证集上比LiDAR的基线获得了8.3mIoU的增长.
• 在所有三个基准数据集中都实现了最先进的性能.

结论:

• 拟议的跨模态知识赋值和过渡方法有效地解决了用于语义细分的传感器融合中的模态对齐问题.
• 双向特征融合和U2MKD框架显著提高了细分的准确性和稳定性,特别是在具有挑战性的现实场景中.
• 这项工作通过改进的传感器融合技术实现了更可靠,更准确的环境感知,从而提升了自主系统的功能.