概括
我们介绍CMSPI,CMSPI是一个结合卷积神经网络 (CNN) 和基于Mamba的状态空间模型 (SSM) 的新型混合网络,用于高效的单像素成像 (SPI). 与现有方法相比,CMSPI实现了优越的图像质量,并降低了计算成本.
科学领域:
- 计算机成像成像技术
- 深度学习用于信号处理.
- 光学和光子学 在光学和光子学.
背景情况:
- 像CNN和ViT这样的深度神经网络具有先进的单像素成像 (SPI).
- 由于局部受体场,CNN在与远程依赖性作斗争.
- 在注意力机制中,ViTs面临着高二次复杂度的计算挑战.
研究的目的:
- 为单像素成像 (SPI) 开发一种新的混合网络.
- 克服现有的深度学习模型在捕捉SPI中长距离依赖性的局限性.
- 在SPI重建中提高成像质量和计算效率.
主要方法:
- 提出了一个混合网络,CMSPI,集成CNN和基于Mamba的状态空间模型 (SSM).
- 采用了互补的分裂形结构,深度可分离的卷积和剩余连接.
- 实施了两步培训策略,以提高性能和硬件友好性.
主要成果:
- 与最先进的SPI方法相比,CMSPI显示出更高的成像质量.
- 拟议的网络显示了更低的内存消耗和更低的计算负担.
- 模拟和实验验证CMSPI的有效性.
结论:
- 使用混合CNN-SSM方法,CMSPI有效地模拟了单像素成像中的远程依赖关系.
- 该网络为SPI提供了一个计算高效和高性能解决方案.
- CMSPI为实用的单像素成像应用提供了一个有希望的进步.
