基于剩余注意力机制的语义细分和深度估计
Naihua Ji1, Huiqian Dong1, Fanyun Meng1
1School of Information and Control Engineering, Qingdao University of Technology, Qingdao 266033, China.
Sensors (Basel, Switzerland)
|September 9, 2023
概括
本研究引入了一种多任务剩余注意网络 (MTRAN),以改善自动驾驶场景的理解. 这种新的方法通过整合注意力机制和随机加权策略来增强语义细分和深度估计.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器人技术 机器人技术 机器人技术
背景情况:
- 语义细分和深度估计对于自动驾驶场景的理解至关重要.
- 共同学习这些任务可以提高整个场景的理解.
- 使用具有共享骨干的特定任务网络的现有方法在全球特征提取方面存在局限性.
研究的目的:
- 提出一个新的多任务剩余注意网络 (MTRAN),用于联合语义细分和深度估计.
- 加强全球特征的提取,以改善自动驾驶中的场景理解.
- 解决多任务学习场景中的特定任务网络不足的问题.
主要方法:
- 开发了一个多任务剩余注意网络 (MTRAN),具有共享的全球网络和每个任务的专用注意网络.
- 整合了一个卷积块注意模块 (CBAM) 来改进全球特征地图.
- 利用剩余的连接来缓解网络退化.
- 在一个公正的多任务学习框架内实施随机加权策略,以平衡任务贡献.
主要成果:
- 拟议的MTRAN有效地提高了语义细分和深度估计任务的性能.
- 注意力机制提高了对相关全球特征的关注度.
- 随机加权策略确保了跨任务的平衡学习,防止单一任务占主导地位.
- 实验结果验证了MTRAN架构和学习策略的有效性.
结论:
- MTRAN架构为自动驾驶中的联合语义细分和深度估计提供了卓越的方法.
- 整合注意力模块和一个平衡的多任务学习策略导致更强大的场景理解.
- 这项工作在开发更有能力的自动驾驶系统方面取得了重大进展.


