遥感图像的轻量级超高分辨率重建架构使用剩余层次变压器网络

科学领域:

• 计算机视觉 计算机视觉
• 遥感 遥感 遥感 遥感
• 人工智能的人工智能

背景情况:

• 变压器模型显示单图像超分辨率 (SISR) 的承诺.
• 现有的基于变压器的SR方法在遥感中难以处理多层次信息和计算复杂性.
• 固定小窗口的自我注意力限制了接收场,并阻碍了捕捉各种图像特征.

研究的目的:

• 开发一个高效和有效的基于变压器的架构,用于远程传感图像超分辨率.
• 解决目前SISR模型中固定窗口自我注意力和二次复杂性的局限性.
• 改进多尺度空间和通道智能特征的提取,以增强图像解释.

主要方法:

• 提出了一个新的残余层次变压器网络 (RHTN).
• 引入了一个剩余层次变压器块 (RHTB),具有具有线性复杂性的空间通道自我注意机制.
• 整合了一个空间门前网络来建模非线性空间信息.

主要成果:

• 与最先进的方法相比,RHTN在基准数据集上表现优越.
• 在远程传感图像超分辨率的定量指标和视觉质量方面取得了显著的改进.
• 拟议的空间通道自我注意力有效地捕获了具有计算可处理性的多尺度特征.

结论:

• RHTN为远程传感图像超分辨率提供了强大的解决方案.
• 新的RHTB设计增强了功能提取,同时保持了效率.
• 这项工作推进了基于变压器的模型在高分辨率遥感图像分析中的功能.