CIDRA-Net:具有分布关系意识的交叉模式交互融合网络,用于强大的3D对象检测
Hongqi Yu1, Xiaoqin Zhang1, Xiaolong Zhou2
1Key Laboratory of Intelligent Informatics for Safety & Emergency of Zhejiang Province, Wenzhou University, Wenzhou, 325035, Zhejiang, China.
概括
通过合并LiDAR和摄像头数据,CIDRA-Net增强了用于自动驾驶的3D对象检测. 这种新的方法通过考虑分布和关系意识来改善对象的分类和定位.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 人工智能的人工智能
背景情况:
- 3D物体检测对于自动驾驶系统至关重要.
- 目前的方法难以有效地融合多模式数据 (LiDAR,摄像头).
- 挑战包括点云稀疏性和复杂的对象关系.
研究的目的:
- 提出CIDRA-Net,一个用于3D物体检测的新型交叉模式融合网络.
- 为了增强摄像机语义和LiDAR空间信息的学习.
- 在3D物体检测中解决分布失衡和隐含的关系上下文.
主要方法:
- 区域跨模态交互融合 (RCIF) 使用双模态关注.
- 双分支分布感知 (DBDP) 用于学习点分布.
- 全球-本地关系挖掘 (GLRM) 用于上下文信息捕获.
主要成果:
- 在nuScenes和KITTI基准上实现了最先进的性能.
- 在不同的骨干中表现出强烈的概括性.
- 展示了对传感器错误的强度.
结论:
- CIDRA-Net有效地融合了多模式数据,以实现高级的3D物体检测.
- 拟议的模块提高对象分布和关系的理解.
- 该网络为自动驾驶感知提供了一个强大的和可通用的解决方案.

