可重复使用的架构 持续立体声匹配的增长

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 最近的立体深度估计模型利用卷积神经网络进行密度差异回归.
• 在实际应用中不断获取培训数据需要模型的持续学习能力.
• 现有模型在适应新数据时,往往难以忘记以前学习的场景.

研究的目的:

• 开发一个持续的立体相匹配框架,能够学习新场景,防止灾难性遗忘,并执行持续的差异预测.
• 引入一种新的可重复使用架构增长 (RAG) 框架,用于在立体匹配中进行适应性和高效的持续学习.
• 提高立体声深度估计模型的适应性,以便在实际,现实世界中部署.

主要方法:

• 提出了一个可重复使用的架构增长 (RAG) 框架,采用特定任务的神经单元搜索和架构增长.
• 在RAG框架内实施了监督和自我监督的学习方法,用于持续的现场学习.
• 引入了一个场景路由器模块,用于在推断过程中自适应地选择场景特定的架构路径.

主要成果:

• 该RAG框架证明了以前的神经单元的高可重复使用性,同时在新场景上实现了强大的性能.
• 拟议的方法显著优于最先进的方法,特别是在具有挑战性的跨数据集场景中.
• 实验证实了框架在各种环境条件 (天气,道路,城市) 中的令人印象深刻性能.

结论:

• 该RAG框架有效地解决了连续立体声匹配的挑战,使模型能够在不遗忘的情况下适应新场景.
• 场景路由器模块增强了推断适应性,促进了端到端立体架构学习.
• 这种方法在现实世界立体声深度估计应用中具有实践部署的巨大潜力.