DSwinIR:重新思考基于窗口的注意力,用于图像恢复

科学领域:

• 计算机视觉 计算机视觉
• 深度学习 (Deep Learning) 是一种深度学习.
• 图像处理 图像处理

背景情况:

• 深度学习模型,特别是具有基于窗口的自我注意力的变压器,主导图像恢复.
• 现有的方法受到严格的窗口分区的影响,限制了特征交互和受体场.

研究的目的:

• 引入一种新的注意力机制,可变形滑动窗 (DSwin) 注意力,用于改进图像恢复.
• 解决基于变压器的图像恢复模型中固定窗口方案的局限性.

主要方法:

• 提出用于图像恢复的可变形滑动窗户变压器 (DSwinIR).
• 实施以代币为中心的滑动窗口范式,以减轻边界工件.
• 纳入内容意识的可变形采样,用于自适应的受体场形状.

主要成果:

• DSwinIR 在多个图像恢复基准上实现了最先进的性能.
• 在全合一的图像恢复中,性能优于GridFormer的0.53 dB (3任务) 和0.87 dB (5任务).
• 展示了卓越的特征交互和受感场适应性的表现.

结论:

• DSwinIR为图像恢复提供了更适应和灵活的注意力机制.
• 提出的方法有效地克服了传统窗式变压器的局限性.
• 代码和模型是公开可用的,用于进一步的研究和应用.