全球SR:全球上下文网络,通过可变形卷积注意力和快速里埃卷积实现单个图像超分辨率

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 视觉转换器 (ViTs) 在图像超分辨率 (SR) 中表现出色,但由于多头自我注意 (MHSA) 速度很慢.
• 卷积神经网络 (CNN) 方法往往错过了全球上下文,导致细节模糊.

研究的目的:

• 开发一种新的架构,将ViT和CNN的优势结合起来,以实现高效和高质量的图像超分辨率.
• 调查建筑设计与特定组件 (如MHSA) 对基于变压器的SR性能的影响.

主要方法:

• 提出了一个通用架构,GlobalSR,专注于建筑设计而不是特定的MHSA组件.
• 废弃性研究用大核卷积取代了MHSA,产生了具有竞争力的结果.
• 全球SR被实例化为GlobalSR-DF,使用可变形卷积注意区块 (DCAB) 和快速里埃卷积域嵌入 (FCDE) 进行高效的全球上下文提取.

主要成果:

• 全球SR架构展示了图像超分辨率质量和推断速度之间的优越权衡.
• 在精度速度方面,GlobalSR-DF的性能超过了基于CNN和基于ViT的最新SISR模型.
• 该方法产生了清晰和自然的超高分辨率图像.

结论:

• 一般的建筑设计对于高效和高性能的基于变压器的SR至关重要.
• 全球SR为轻量级的SR网络提供了利用全球上下文信息的实用指南.
• 全球SR-DF为平衡SR质量和计算效率提供了一个有前途的解决方案.