高相似度-注意单一图像超分辨率

科学领域:

• 计算机视觉 计算机视觉
• 深度学习 (Deep Learning) 是一种深度学习.
• 图像处理 图像处理

背景情况:

• 非局部注意力 (NLA) 对于基于自我相似性的单图像超分辨率 (SISR) 是至关重要的.
• 标准的NLA方法探索非局部自相似性 (NSS),但表现出效率低下.
• 在NLA中随机选择的区域产生了与标准NLA相似的性能,表明了潜在的改进.

研究的目的:

• 分析标准NLA的注意力地图,并在SISR中确定其局限性.
• 通过专注于高度相似的特征,开发一个更有效的SISR关注机制.
• 引入一种新的注意力阻断,可以集成到现有的深度SISR模型中.

主要方法:

• 分析标准的NLA注意力图,以揭示特征分配中的统计浪费.
• 引入软值操作以创建高相似度过注意 (HSPA).
• 导出HSPA端到端训练的属性,并将其集成到一个深度高相似度传递注意网络 (HSPAN).

主要成果:

• 通过专注于高度相似的特征,HSPA产生了更紧和可解释的注意力分布.
• 拟议的HSPA可以无地作为深层SISR架构中的通用构建块集成.
• 与最先进的SISR方法相比,纳入HSPA的HSPAN模型取得了优越的定量和质量结果.

结论:

• 开发的HSPA机制有效地解决了SISR中标准NLA的低效性.
• 在图像超分辨率中,HSPA为建模远程依赖提供了更加专注和高效的方法.
• 通过广泛的实验验验证,HSPAN模型在SISR性能方面取得了显著的进步.