超光谱图像超分辨率与真实不对齐的RGB指导

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 遥感 遥感 遥感 遥感

背景情况:

• 超分辨率的高光谱图像 (HSI) 旨在通过整合来自高分辨率 (HR) RGB图像的空间信息来增强图像的细节.
• 现有的基于聚变的方法因刚性对齐假设和无法处理HSI和RGB数据之间的非刚性不对齐而与现实世界的场景作斗争.

研究的目的:

• 开发一种基于聚变的强大的HSI超分辨率方法,能够处理现实世界参考RGB (Ref-RGB) 图像中的刚性和非刚性不对齐.
• 引入一个新型的HSI融合网络 (HSIFN),用于未对齐的HSI-RGB数据.

主要方法:

• 拟议的HSI融合网络 (HSIFN) 采用通过单独的HSI和RGB编码器进行异质特征提取.
• 实现了多级特征对齐模块,以明确将Ref-RGB特征与低分辨率 (LR) HSI特征对齐.
• 使用适应性注意模块专注于特征融合和HR HSI重建之前的歧视性区域.

主要成果:

• 在模拟和现实数据集上,HSIFN在现有的单图像和基于融合的超分辨率方法上表现出卓越的性能.
• 在定量评估和视觉比较方面取得了显著的改进,验证了其对真实场景的有效性.
• 引入了一个新的现实世界HSI融合数据集,以促进对非对齐的HSI-RGB超分辨率的研究.

结论:

• 拟议的HSIFN有效地解决了基于融合的超分辨率中未对齐的HSI-RGB数据的挑战.
• 该方法为HSI超分辨率在实际,现实应用中提供了显著的进步.
• 公开发布的代码和数据集鼓励该领域的进一步研究和开发.