在单眼3D物体检测中应用辅助监督深度辅助变压器和交叉模式注意力融合
Zhijian Wang1, Jie Liu2, Yixiao Sun1
1School of Computer Science and Software Engineering, University of Science and Technology Liaoning, Anshan, Liaoning, China.
PeerJ. Computer science
|February 3, 2025
概括
本研究介绍了用于单眼3D物体检测的深度检测变压器 (Depth-DETR). 它通过使用监督的深度辅助变压器和跨模式注意力来提高自动驾驶中的功能融合,从而提高了准确性.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器人技术 机器人技术 机器人技术
背景情况:
- 单眼3D物体检测对于自动驾驶至关重要,但由于2D图像中的3D信息有限,它面临着挑战.
- 现有的方法在不准确的深度估计和深度和视觉特征的异质融合方面扎.
研究的目的:
- 提出一种改进的单眼3D物体检测方法,即深度检测变压器 (Depth-DETR).
- 为了提高深度估计的准确性,并有效地融合多模式功能.
主要方法:
- 引入了深度检测变压器 (Depth-DETR) 与辅助监督深度辅助变压器和跨模态注意力融合.
- 采用了两个独立的深度编码器,由地面真实深度和边界框监督.
- 利用两个交叉模式变压器的平行结构来融合深度和视觉特征,避免早期的融合.
主要成果:
- 在KITTI数据集上取得了极具竞争力的结果.
- 获得了17.49的平均精度 (AP) 得分,证明了出色的表现.
- 拟议的方法在3D物体检测准确度方面取得了显著的改进.
结论:
- 深度DETR有效地解决了单眼3D物体检测的局限性.
- 新的融合策略和监督深度辅助导致优越的特征表示和检测准确性.
- 深度DETR代表了自动驾驶感知系统的重大进步.
