DSMT:用于高光谱快照压缩成像的双阶段多级变压器

科学领域:

• 图像处理 图像处理
• 计算机视觉 计算机视觉
• 频谱学是一种光谱学.

背景情况:

• 快照压缩成像 (SCI) 通过将数据压缩成2D测量,使得高效的3D高光谱图像 (HSI) 获取成为可能.
• 从SCI数据中重建高质量的HSI是具有挑战性的,因为反向问题的复杂性.
• 现有的基于变压器的方法难以有效地捕获多尺度特征和本地信息.

研究的目的:

• 提出一种新的双阶段多尺度变压器 (DSMT),以从压缩测量中改进HSI重建.
• 在HSI重建中提高重建准确性,网络泛化和计算效率.
• 解决当前变压器方法在捕捉多尺度和局部特征方面的局限性.

主要方法:

• 开发了一种具有双分支编码器的U-Net架构,用于处理不同的特征和精细的重建.
• 整合了全面的跳过连接,以加强跨不同网络阶段的功能融合.
• 引入了一种双窗口多级多头自我注意 (DWM-MSA) 机制,用于捕获多级依赖和本地信息.
• 实施混合位置嵌入 (CRPE) 来动态建模空间和光谱依赖.

主要成果:

• 拟议的DSMT方法在对模拟和真实HSI数据的定量和定性实验中表现出卓越的性能.
• 采用双阶段,多尺度的方法显著提高了HSI重建质量.
• 这些DWM-MSA和CRPE组件有效地提高了模型捕获复杂空间光谱信息的能力.

结论:

• DSMT框架提供了一个强大的和有效的解决方案,用于从SCI测量中重建HSI.
• 该方法实现了高的重建准确性,稳定性和概括能力.
• 拟议的架构和注意力机制代表了超光谱成像重建的重大进展.