无参考图像质量评估 结合猪变压器和自然场景统计数据
Yuxuan Yang1, Zhichun Lei2, Changlu Li1
1School of Microelectronics, Tianjin University, Tianjin 300072, China.
Sensors (Basel, Switzerland)
|August 29, 2024
概括
本研究引入了一种使用Swin-Transformer和自然场景统计数据的新型无参考图像质量评估模型. 该模型通过分析全球和本地特征准确预测图像质量,优于现有方法.
科学领域:
- 计算机视觉 计算机视觉
- 图像处理 图像处理
- 机器学习 机器学习
背景情况:
- 无参考图像质量评估 (NR-IQA) 模型预测没有参考图像的图像质量.
- 现有的NR-IQA方法难以同时捕获全球和本地图像信息,并减轻因大小调整而导致的信息丢失.
研究的目的:
- 开发一种先进的NR-IQA模型,克服当前方法的局限性.
- 通过整合多尺度特征提取和自然场景统计,提高图像质量评估的准确性和稳定性.
主要方法:
- 一个新的模型结合了Swin-Transformer用于多尺度特征提取和自然场景统计 (NSS) 来解决大小调整引起的信息丢失.
- 整合了功能增强模块,可变形卷积和双分支注意力,以改进功能表示,并专注于关键图像区域.
- 利用正常化损失函数来增强模型的融合和稳定性.
主要成果:
- 拟议的模型在六个不同的图像质量评估数据集 (合成和真实) 上实现了最先进的性能.
- 与DACNN方法相比,其表现优越,在KADID上达到0.922的Spearman等级相关系数,在KonIQ上达到0.923.
- 在处理合成和真实的图像场景方面展示了出色的能力.
结论:
- 集成的Swin变压器和NSS方法为NR-IQA提供了强大而准确的解决方案.
- 该模型能够同时处理全球和本地信息,并弥补物件大小的变化,从而与人类感知有了更好的对齐.
