$S^{2}$S2-转换器用于面具意识的高光谱图像重建

科学领域:

• 光学和光子学 在光学和光子学.
• 计算机视觉 计算机视觉
• 机器学习 机器学习

背景情况:

• 快照压缩成像 (SCI) 使用光学压缩和软件重建捕获超光谱图像.
• 使用变压器重建的编码光圈快照压缩成像仪 (CASSI) 显示出希望,但由于注意力设计和信息纠,在超光谱建模中面临局限性.
• 卡西的物理面具导致数据丢失,阻碍了重建的准确性.

研究的目的:

• 提出一种新的空间光谱 ($S^{2}$S2-) 变压器,以克服CASSI高光谱图像重建中的局限性.
• 增强纠的空间和光谱信息的建模,并减轻物理面具的数据损失.
• 推进物理驱动的深度网络设计,以改善CASSI重建.

主要方法:

• 实现了一个空间-光谱 ($S^{2}$S2-) 变压器,并行关注设计,用于解散空间和光谱信息建模.
• 引入了面具意识的学习策略,以适应性地优先考虑面具区域的损失处罚,使用面具编码的预测作为不确定性估计器.
• 根据拟议的学习战略,理论上分析了蒙面和没有蒙面地区的融合趋势.

主要成果:

• 平行注意力设计有效地解并模拟混合空间和光谱信息.
• 面具意识的学习策略通过解决掩盖的数据丢失来提高重建的准确性.
• 广泛的实验表明,拟议的方法在超光谱图像重建中优于最先进的方法.

结论:

• 拟议的带有面具意识学习的空间光谱 ($S^{2}$S2-) 变压器显著提高了CASSI系统中超光谱图像重建质量.
• 平行注意力和适应性损失加权是改善SCI深度网络设计的有效策略.
• 与现有技术相比,该方法为超光谱成像提供了更强大,更准确的方法.