SSTF-Unet:基于空间光谱变压器的U-Net用于高分辨率的高光谱图像采集
IEEE transactions on neural networks and learning systems
|September 22, 2023
概括
本研究介绍了一种基于空间光谱变压器的新型U-Net (SSTF-Unet),用于将低分辨率的超光谱图像与高分辨率的多光谱图像融合. 新方法有效地捕捉全球特征,优于现有的高分辨率超谱图像生成方法.
科学领域:
- 遥感 遥感 遥感 遥感
- 计算机视觉 计算机视觉
- 图像处理 图像处理
背景情况:
- 超光谱图像 (HSI) 和多光谱图像 (MSI) 融合对于生成高分辨率HSI (HR-HSI) 至关重要.
- 现有的基于卷积神经网络 (CNN) 的融合方法由于内核限制而难以捕捉全球特征.
研究的目的:
- 开发一种先进的融合技术,克服CNN在捕获全球空间光谱信息方面的局限性.
- 通过有效的图像融合,提高HR-HSI生成的准确性和性能.
主要方法:
- 提出了一个新的基于空间光谱变压器的U-Net (SSTF-Unet) 架构.
- SSTF-Unet包含空间变压器块 (SATB) 和光谱变压器块 (SETB),用于并行空间和光谱自我注意.
- 多个空间光谱融合块 (SSFB) 堆叠在一个U-Net结构中,用于多级特征融合.
主要成果:
- SSTF-Unet有效地捕获远程依赖和内在图像信息.
- 公共HSI数据集的实验结果显示,与现有的HSI和MSI融合方法相比,其性能优越.
- 拟议的方法在HR-HSI生成中显示出更高的准确性.
结论:
- SSTF-Unet在高光谱和多光谱图像融合方面取得了重大进展.
- 这种基于变压器的方法为生成高分辨率的超光谱图像提供了更强大的解决方案.
- 该方法捕捉全球特征的能力导致了更好的融合结果.


