从RGB图像中重建高光谱图像,通过多尺度光谱空间序列学习

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 变压器模型具有先进的高光谱图像重建 (光谱超分辨率,SSR).
• 现有的变压器方法在平衡计算效率和远程特征提取方面面临挑战.
• 马巴为远程依赖提供线性复杂性,并在视觉任务中显示出前景.

研究的目的:

• 提出MSS-Mamba,一种新的多尺度光谱空间序列学习方法,用于从RGB图像中重建超光谱图像.
• 通过改进特征提取和多层次信息处理来增强Mamba在SSR方面的能力.

主要方法:

• 引入了连续光谱空间扫描 (CS3) 机制,以增强Mamba的跨维特征提取.
• 开发了一种序列代币化策略,使用一个多尺度信息融合 (MIF) 模块来解决层次化的多尺度学习限制.
• MIF模块使用双分支架构进行单独的全球和本地处理,通过自适应路由器实现动态功能融合.

主要成果:

• 拟议的MSS-Mamba方法有效地从RGB输入中重建高光谱图像.
• 在ARAD_1k,CAVE和grss_dfc_2018数据集上的实验结果证明了该方法的卓越性能.
• 这种方法成功地生成了具有全球上下文和局部细节的特征地图,用于高保真重建.

结论:

• 使用Mamba的MSS-Mamba提供了一种高效和有效的解决方案,用于使用Mamba的光谱超分辨率.
• 新的CS3机制和MIF模块显著提高了高光谱图像重建质量.
• 这项工作通过利用高效的序列建模来完成复杂的重建任务,推动了超光谱成像领域的发展.