在单一图像超分辨率中揭示非局部注意力的黑暗面
IEEE transactions on pattern analysis and machine intelligence
|September 10, 2024
概括
非局部注意力 (NLA) 可以通过扭曲纹理来损害单图像超分辨率 (SISR). 一个新的纹理忠实性策略 (TFS) 缓解了这一问题,提高了重建质量.
科学领域:
- 计算机视觉 计算机视觉
- 图像处理 图像处理
- 人工智能的人工智能
背景情况:
- 单图像超分辨率 (SISR) 从低分辨率输入中重建高分辨率图像.
- 非局部注意 (NLA) 是一种常见的技术,使用自相似的纹理来改善SISR.
- 现有的方法忽视了NLA降低纹理质量的潜力.
研究的目的:
- 挑战NLA总是改善SISR的假设.
- 建议在SISR中对NLA进行子像素级评估.
- 制定一种策略,缓解NLA诱导的纹理退化.
主要方法:
- 在子像素级别分析NLA对纹理保真性的影响.
- 导出NLA的近似重建性能上限.
- 在SISR模型中设计和整合纹理忠实性策略 (TFS).
- 开发一个包含TFS的深度纹理忠实性网络 (DTFN).
主要成果:
- NLA可以在SISR中严重扭曲纹理,特别是在退化输入的情况下.
- 亚像素评估揭示了NLA的局限性.
- 拟议的TFS有效地减轻了NLA诱导的退化.
- 该DTFN实现了最先进的SISR性能.
结论:
- 对于SISR来说,NLA并不普遍有益,并且可以降低纹理质量.
- 小像素视角和TFS对于SISR中可靠的NLA应用至关重要.
- DTFN为高保真SISR提供了一个强大的解决方案.
