马巴OSR:利用空间频率马巴进行扭曲导向的全向图像超分辨率

科学领域:

• 计算机视觉 计算机视觉
• 图像处理 图像处理
• 深度学习 (Deep Learning) 是一种深度学习.

背景情况:

• 全方向图像超分辨率 (ODISR) 对于沉浸式VR/AR应用至关重要.
• 现有的ODISR方法在受体场有限和计算成本高的情况下扎,阻碍了细节重建.
• 这些局限性阻碍了对远程依赖关系和全球结构特征的建模.

研究的目的:

• 提出一个新的基于Mamba的ODISR网络,MambaOSR,以解决当前方法的局限性.
• 增强高频细节和全球结构信息在全向图像中的重建.
• 提高VR/AR的360度内容的视觉质量和信息丰富性.

主要方法:

• 开发了MambaOSR,这是一个包含空间频率视觉状态空间模型 (SF-VSSM) 的网络,用于双域学习.
• 引入了一个扭曲引导模块 (DGM) 来自适应性地建模和抑制投影文物.
• 集成了一个多尺度特征融合模块 (MFFM) 来结合跨尺度的互补特征.

主要成果:

• 在SUN360数据集上,MambaOSR在加权信号对噪声比率 (WS-PSNR) 峰值信号对噪声比率上实现了0.16dB的改进.
• 与最先进的ODISR方法相比,相互信息增加了1.99%.
• 重建的全向图像显著提高视觉质量和信息丰富性.

结论:

• 拟议的MambaOSR有效地解决了ODISR接收场大小和计算复杂性的局限性.
• SF-VSSM,DGM和MFFM模块的协同组合导致了卓越的重建性能.
• 在为沉浸式应用程序生成高质量的全向内容方面,MambaOSR代表了重大进步.