推进高光谱和多光谱图像融合:一个基于信息意识的变压器的展开网络

科学领域:

• 遥感 遥感 遥感 遥感
• 计算机视觉 计算机视觉
• 信号处理 信号处理

背景情况:

• 超光谱图像 (HSI) 处理需要将高分辨率的多光谱图像 (HR-MSI) 与低分辨率的HSI (LR-HSI) 融合,以生成高分辨率的HSI (HR-HSI).
• 基于卷积神经网络 (CNN) 的深度展开方法显示出希望,但在有限的受体场和阶段之间受限的特征传输方面扎,阻碍了性能.
• 精确的远距离空间特征提取和有效的信息传输对于先进的HSI融合至关重要.

研究的目的:

• 为MSI-HSI融合提出一种新且高效的基于变压器的信息意识展开网络 (ITU-Net).
• 解决CNN在捕捉远程依赖性和促进跨阶段信息流动方面的局限性.
• 为了提高高分辨率超光谱图像生成的准确性和性能.

主要方法:

• 开发了一个定制的变压器块,用于学习具有线性复杂性的空间和频域表示.
• 引入了信息传输引导的线性注意 (ITLA),用于高效的空间特征提取和上下文信息传输.
• 在前网络 (FFN) 中集成的频域学习,以捕获图像令牌变化并减少频率差距.

主要成果:

• 拟议的ITU-Net有效地模拟了超频谱数据中的远程依赖关系.
• ITLA使相邻阶段之间的高通量信息传输成为可能,从而增强了空间特征的提取.
• 频域学习成功捕获图像变化并弥合频率差距,改善融合质量.

结论:

• 国际电联网络在合成和真实超频谱数据集上实现了最先进的 (SOTA) 性能.
• 基于变压器的方法克服了HSI融合中的CNN限制,特别是对于远程空间特征.
• 提出的方法在高分辨率的高光谱图像重建方面取得了重大进展.