通过密集聚合的双边网络实现实时语义细分

科学领域:

• 计算机视觉 计算机视觉
• 深度学习 (Deep Learning) 是一种深度学习.
• 图像细分 图像细分

背景情况:

• 实时语义细分面临着一个关键的速度-准确性权衡.
• 双边细分网络提供了平衡,但在特征提取方面存在局限性.
• 轻量级的骨干和晚期的融合阻碍了语义上下文和空间细节的聚合.

研究的目的:

• 提出密集聚合的双边网络 (DAB-Net) 以实现高效的实时语义细分.
• 加强双边网络中语义上下文和空间细节的提取.
• 改进特征表示,以便准确的细分预测.

主要方法:

• 引入了用于本地语义上下文提取的逐步上下文增强 (PCE) 模块.
• 设计了一个上下文引导空间路径 (CGSP) 来编码更细微的空间细节.
• 实现了双边分支之间的多重交互,并使用了功能融合的统一解码器.

主要成果:

• 与最先进的方法相比,DAB-Net 实现了较高的准确性与最小的速度降低.
• 该模型在高分辨率图像上以每秒31.1 (FPS) 运行.
• 三个公共基准的实验结果验证了拟议方法的有效性.

结论:

• DAB-Net有效地解决了现有的双边网络在实时语义细分方面的局限性.
• 拟议的架构增强了特征表示,从而提高了细分性能.
• 对于需要速度和精度的应用,DAB-Net提供了一个有前途的解决方案.