一个高效的多层次空间重排 MLP 架构用于图像恢复

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 基于本地窗口的模型为高分辨率图像提供线性复杂性,但由于受体场的有限性,与远程上下文作斗争.
• 高效编码远程信息对于提高图像恢复任务中的网络性能至关重要.

研究的目的:

• 开发一种新的图像修复架构,有效利用远程信息.
• 在不增加计算复杂性的情况下,增强局部基于窗口的模型的接收场.
• 为了实现优越的图像恢复质量,降低计算成本.

主要方法:

• 提出了一个单阶段的多层空间重新安排多层感知子 (MSSR-MLP) 架构.
• 引入一个空间重新排列模块 (SRM) 来整合来自本地窗外的信息.
• 采用多个不同步骤大小的多个SRM来捕获多层次信息.

主要成果:

• MSSR-MLP有效地使用基于窗口的完全连接层来模拟远程依赖.
• 在各种任务中实现了更好的图像修复性能,包括去色,去和去模糊.
• 与SwinIR,C2 PNet和MAXIM等现有最先进的方法相比,显著降低了计算成本 (FLOP).

结论:

• 拟议的MSSR-MLP架构为图像恢复提供了高效和有效的解决方案.
• 空间重新排列是一种可行的技术,可以扩展本地受体场,并捕捉多层次的环境.
• 该方法在图像恢复中实现了性能和计算效率之间强大的平衡.