精度和效率立体声匹配网络与自适应功能调制

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 功能增强对于强大的匹配任务至关重要,特别是在立体视觉中,阻塞和反射会导致不匹配.
• 现有的方法与干扰区域作斗争,导致在具有挑战性的立体匹配场景中做出不准确的预测.

研究的目的:

• 提出一个端到端的二维特征调制网络 (DFMNet),用于在立体声匹配中增强特征表示.
• 开发一个实时变体,Fast-GFM,保持高精度和稳定性.
• 引入成本波器体积 (CFV) 以适应性波和改进匹配精度.

主要方法:

• DFMNet采用双维特征调制 (DFM) 来捕获空间和通道信息,以适应性结合本地和上下文特征.
• 引入了成本过量 (CFV),使用分组相关性权重来过连接的卷和丢弃冗余信息.
• 快速GFM使用全局特征调制 (GFM) 块来增强特征表达,从而实现实时立体声匹配.

主要成果:

• 在包括Scene Flow,KITTI,ETH3D和Middlebury在内的基准指标上,DFMNet和Fast-GFM实现了最先进的性能.
• 提出的方法在各种立体匹配场景中在匹配精度和稳定性方面取得了显著的改进.
• 通过CFV进行自适应过有效减少冗余信息,进一步提高立体声匹配性能.

结论:

• DFMNet和Fast-GFM为改善特征表示和立体匹配精度提供了有效的解决方案.
• 双维特征调制和成本波器体积方法在具有挑战性的条件下显著提高了可靠性.
• 开发的方法代表了立体声匹配技术的实质性进步,在多个基准上取得了顶级的结果.