PH-Mamba:通过位置编码和对图像描绘和超越图像描绘的协调注意力来增强Mamba

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能

背景情况:

• 马巴模型在具有线性复杂性的长距离依赖中表现出色.
• 曼巴的1D顺序处理阻碍了视觉任务中的空间依赖恢复,导致效率低下.

研究的目的:

• 介绍PH-Mamba,通过优化空间依赖模型来改进Mamba用于图像脱轨的框架.
• 通过解决Mamba的局限性,提高视觉任务的效率和准确性.

主要方法:

• PH-Mamba 集成了位置编码和对图像脱轨的协调注意力.
• 一个位置引导的混合Mamba模块 (PHMM) 编码空间坐标和扰动特征.
• 在PHMM中,一个协调的变压器专注于不确定的区域,并抑制噪音.

主要成果:

• 在低级别的图像恢复基准中,PH-Mamba 实现了卓越的性能.
• 与NeRD相比,PH-Mamba显示了0.60dB的PSNR改进.
• PH-Mamba显著减少了参数 (88.9%),计算 (36.2%) 和推断时间 (63.0%).

结论:

• PH-Mamba 提供了一种更有效,更准确的方法来处理图像脱轨和其他视觉任务.
• 该框架的全球定位指导和地方特征的结合加强了上下文学习.
• 基于Mamba的现有视觉应用方法相比,PH-Mamba是一个显著的进步.