SP-IGAN:一个改进的GAN框架,用于在现实世界超分辨率图像中有效利用语义priors
Meng Wang1, Zhengnan Li1, Haipeng Liu1,2
1Faculty of Information Engineering and Automation, Kunming University of Science and Technology, Kunming 650500, China.
Entropy (Basel, Switzerland)
|April 26, 2025
概括
语义预改进GAN (SP-IGAN) 通过整合语义信息来增强单个图像的超分辨率. 这种新的框架提高了纹理的一致性和高频细节重建,优于现有的方法.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 图像处理 图像处理
背景情况:
- 生成对抗网络 (GAN) 在单图像超分辨率 (SISR) 中表现有前途.
- 现有的基于GAN的SISR方法由于有限的语义理解而难以实现局部一致的纹理.
- 改进的上下文信息理解和高频细节获取对于先进的SISR模型至关重要.
研究的目的:
- 提出一个新的语义先前改进的GAN (SP-IGAN) 框架,用于增强SISR.
- 解决当前SISR方法在纹理重建和语义一致性方面的局限性.
- 为了改善超高分辨率图像中高频细节的获取.
主要方法:
- 该SP-IGAN框架将上下文语义信息集成到Real-ESRGAN模型中.
- 一个图形卷积通道注意力 (GCCA) 模块增强了主分支中的像素关联.
- 辅助分支使用预训练的细分模型和空间特征转换 (SFT) 层将语义信息注入到剩余密集块 (RRDB) 中.
- 波段损失被纳入以捕获高频细节.
主要成果:
- 在公共数据集上,SP-IGAN表现出高于最先进的 (SOTA) 超分辨率模型的性能.
- 在X4超分辨率的峰值信号噪声比 (PSNR) 中实现了0.55dB的改进.
- 与实体-ESRGAN基线相比,结构相似性指数 (SSIM) 增加了0.0363.
结论:
- 拟议的SP-IGAN框架有效地提高了单图像超分辨率.
- 整合语义 priors 增强了纹理一致性和细节重建.
- SP-IGAN为开发更强大,更准确的超分辨率技术提供了一个有前途的方向.
