融合事件和框架与坐标注意力门的重复单位为单眼深度估计.
Huimei Duan1, Chenggang Guo1, Yuan Ou1
1School of Computer and Software Engineering, Xihua University, Chengdu 610039, China.
Sensors (Basel, Switzerland)
|December 17, 2024
概括
这项研究引入了一种新型的坐标注意力门反复单位 (CAGRU),通过融合来自事件和传统摄像机的数据来改进单眼深度估计. 该方法在具有挑战性的环境中提高了准确性和稳定性.
科学领域:
- 计算机视觉 计算机视觉
- 机器人技术 机器人技术 机器人技术
- 传感器融合式传感器
背景情况:
- 单眼深度估计对于场景理解至关重要,但在动态场景或照明不佳等极端条件下难以实现.
- 传统摄像头在极端环境中存在局限性,而事件摄像头可以异步捕捉亮度变化,但缺乏颜色和绝对亮度.
- 需要有效地融合事件和传统摄像机数据,以提高单眼深度估计的准确性和稳定性.
研究的目的:
- 通过有效地融合来自事件和传统摄像机的数据,提出一种可靠的单眼深度估计的新方法.
- 为加强特征选和融合,引入协调注意力隔离反复单元 (CAGRU).
- 提高单眼深度估计的准确性和稳定性,特别是在具有挑战性的环境条件下.
主要方法:
- 开发了一种新型的坐标注意力门循环单元 (CAGRU),将坐标注意力机制集成到门循环单元中.
- 该CAGRU利用协调注意门与卷积门相结合,以建模空间,时间和通道间特征依赖.
- 这种方法在时间处理中提高了稀疏事件数据的信息密度,促进了有效的特征融合.
主要成果:
- 拟议的CAGRU方法在用于单眼深度估计的各种公共数据集上显示了显著的性能改进.
- 使用CAGRU的事件和标准摄像头数据的融合导致了更高的准确性和稳定性.
- 该方法有效地选和融合特征,克服了极端环境中传统方法的局限性.
结论:
- 新的CAGRU有效地融合了来自事件和传统摄像机的互补信息,用于单眼深度估计.
- 提出的方法显著提高了准确性和稳定性,特别是在动态场景和具有挑战性的照明条件下.
- 在计算机视觉和机器人技术中,CAGRU为推进单眼深度估计提供了一个有前途的解决方案.


