多阶段空间光谱融合网络用于光谱超分辨率

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 深度学习方法显示出对光谱超分辨率 (SSR) 的承诺.
• 现有的SSR方法往往无法在超光谱图像 (HSI) 中充分建模空间和光谱特征.
• 这种限制导致了歧视性信息的丢失,并降低了重建的HSI中的忠实性.

研究的目的:

• 提出一个新的SSR网络,即多阶段空间光谱融合网络 (MSFN).
• 改进空间光谱特征的建模,以进行增强的HSI重建.
• 克服现有方法在捕捉全面的空间相关性和光谱自我相似性的局限性.

主要方法:

• 开发了一种多阶段的Unet-like架构,用于捕获多尺度的空间和光谱特征.
• 整合了两种类型的自我注意机制,用于全面的全球HSI建模.
• 引入创新的空间融合 (SpatialFM) 和光谱融合 (SpectralFM) 模块,用于特征对齐和融合.

主要成果:

• 拟议的MSFN有效地捕捉和融合了多尺度空间光谱特征.
• 与最先进的SSR方法相比,NTIRE2022和NTIRE2020数据集的实验显示出更高的性能.
• 定量和定性评估证实了重建的HSI的提高准确性.

结论:

• MSFN显著提高了高光谱图像重建的准确性.
• 网络能够全面模拟空间光谱特征的能力是其性能改善的关键.
• 拟议的融合模块有效地保存和整合空间和光谱信息.