用于光谱成像的马赛克图案挖掘变压器
概括
本研究介绍了用于先进的光谱图像demozaicing的马赛克图案挖掘变压器 (MPEFormer). MPEFormer有效地建模复杂的空间光谱相关性,优于现有的多光谱波器阵列重建方法.
科学领域:
- 频谱成像技术的使用.
- 计算机视觉 计算机视觉 计算机视觉
- 深度学习是一种深度学习.
背景情况:
- 单光谱图像解对于多光谱波器阵列 (MSFA) 成像至关重要.
- 当前的深度学习方法在空间子样本和光谱别名化中与交织的空间-光谱相关性作斗争.
研究的目的:
- 提出一种新的深度学习模型,MPEFormer,以改善MSFA的模拟化.
- 为了有效地建模和利用空间光谱相关性,以增强光谱图像重建.
主要方法:
- 开发了一个三分支MPEFormer架构,集成低频,边缘和高频细节.
- 引入了双融合自我注意区块 (DFSAB) 与马赛克模式挖掘自我注意 (MPESA) 来捕捉非局部相关性.
- 整合了以马赛克模式为导向的光谱调制模块 (MPSM) 进行适应性光谱重新校准.
主要成果:
- MPEFormer有效地建模了MSFA数据中固有的交织的空间光谱相关性.
- 该MPESA机制捕获整个图像的非局部空间光谱依赖性.
- 根据MSFA模式依赖性,MPSM可以根据适应性重新校准光谱信息.
结论:
- 与最先进的MSFA拆解方法相比,MPEFormer表现出优越的性能.
- 拟议的架构有效地解决了现有的深度学习方法的局限性.
- 该方法显示了推动光谱成像重建的巨大潜力.
