一个基于变压器的图像引导深度完成模型与双重注意力融合模块
Shuling Wang1, Fengze Jiang1, Xiaojin Gong1
1The College of Information Science and Electronic Engineering, Zhejiang University, Hangzhou 310027, China.
Sensors (Basel, Switzerland)
|October 16, 2024
概括
这项研究介绍了一种基于变压器的新型网络,用于图像引导的深度完成,通过从稀疏的输入生成准确的,密集的深度地图来显著改善3D场景感知.
科学领域:
- 计算机视觉 计算机视觉
- 3D场景感知 3D场景感知
- 深度学习 (Deep Learning) 是一种深度学习.
背景情况:
- 深度信息对于理解3D场景至关重要,但直接传感器捕获会产生不完整和杂的深度图.
- 图像引导的深度完成旨在通过使用彩色图像从稀疏的深度数据生成密集,准确的深度图.
研究的目的:
- 开发一种新的网络架构,用于准确和高分辨率的图像引导深度完成.
- 利用变压器模型和注意力机制来增强深度地图生成.
主要方法:
- 一个双分支网络架构,利用基于变压器的编码器进行特征提取.
- 将图像特征序列化为令牌,并提取多层次金字塔特征.
- 一个双注意力融合模块,结合空间,通道和交叉注意力机制来实现特征融合.
主要成果:
- 拟议的模型在NYUv2和SUN-RGBD深度数据集上实现了最先进的性能.
- 废弃性研究验证了个别网络模块的有效性.
- 该方法成功地从稀疏的输入中生成密集和准确的深度图.
结论:
- 变压器模型对于图像引导的深度完成任务非常有效.
- 拟议的双注意力融合模块显著提高了色彩和深度信息之间的功能融合.
- 新的网络架构提供了一个强大的解决方案,通过深度完成来改善3D场景的感知.
