通过高效混合变压器和卷积网络来实现轻量级单图像超分辨率

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 单图像超分辨率 (SISR) 对于提高图像质量至关重要.
• 现有的方法往往难以有效地平衡当地细节和全球背景.
• 实际的SISR应用需要轻量级和高性能网络.

研究的目的:

• 提出一个新的网络架构,即本地全球联盟网络 (LGUN),以实现高效和高性能单图像超分辨率 (SISR).
• 在一个统一的框架中利用变压器和卷积网络的互补优势.
• 为了证明LGUN在自然和卫星图像数据集上的有效性.

主要方法:

• 当地全球联盟网络 (LGUN) 集成了全球背景的变压器和地方特征的卷积网络.
• 多级地方层次注意力 (MLHA) 用于浅层编码局部空间信息.
• 具有多阶段令牌选择 (MTS) 的动态全球稀疏注意力 (DGSA) 用于全球上下文建模的更深层.

主要成果:

• LGUN有效地结合了全球上下文交互和本地特征提取.
• 与现有的SISR方法相比,该网络显示出更高的性能.
• 对来自光学和卫星传感器的自然和卫星图像数据集进行了实验.

结论:

• 对于单图像超分辨率来说,LGUN提供了一种轻量级但高性能的解决方案.
• 拟议的架构成功地融合了变压器和卷积网络的好处.
• 在不同的传感器类型中,LGUN显示出各种图像超分辨率任务的巨大潜力.