双层交叉模式神经架构 搜索指导图像 超分辨率

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 图像处理 图像处理

背景情况:

• 导向图像超分辨率 (GISR) 使用来自不同模式的相应HR导向图像重建高分辨率 (HR) 图像.
• 当前基于学习的GISR方法经常使用对称网络和手动融合策略,这些策略可以忽视模式差异和最佳融合点.
• 现有的方法在平衡性能增长与计算复杂性方面面临挑战.

研究的目的:

• 开发一个自动化的框架来设计高效和有效的导图超分辨率 (GISR) 模型.
• 解决现有的GISR方法在模式差异方面的局限性,特征融合策略和计算效率.
• 将神经架构搜索 (NAS) 引入GISR领域,用于自动模型设计.

主要方法:

• 提出一个双层交叉模式神经架构搜索 (DCNAS) 框架.
• 引入一个双层搜索空间来识别最佳架构和融合策略.
• 采用超级网络训练策略,并配备对排列损失训练性能预测器来指导搜索过程.

主要成果:

• 该DCNAS框架成功设计了高效的GISR模型,包括DCNAS-Tiny和DCNAS.
• 发现的模型在多个GISR任务中实现了显著的性能改进:引导深度地图超分辨率,引导突出地图超分辨率,引导热图超分辨率和泛化.
• 该研究提供了对跨模式图像超分辨率的有效架构的见解.

结论:

• DCNAS是第一个基于NAS的GISR方法,证明了其在自动化模型设计方面的有效性.
• 拟议的框架为优化GISR模型提供了一个新的解决方案,平衡性能和计算复杂性.
• 这项研究为探索高效和有效的跨模式图像超分辨率技术开辟了新的途径.