话题:从语义到图像质量评估扭曲的自上而下的方法
概括
我们介绍TOPIQ,这是图像质量评估 (IQA) 的一种新的自上而下的方法,它使用语义信息引导关注扭曲区域. 这种方法提高了完全参考 (FR) 和无参考 (NR) IQA任务的性能.
科学领域:
- 计算机视觉 计算机视觉
- 深度学习 (Deep Learning) 是一种深度学习.
- 图像处理 图像处理
背景情况:
- 深度神经网络已经显著提升了图像质量评估 (IQA).
- 当前的IQA方法经常结合全球和本地特征,但使用简单的线性融合,忽视复杂的特征相互作用.
- 人类的视觉感知涉及一个自上而下的过程,在专注于局部细节之前形成全球印象.
研究的目的:
- 提出一种新的自上而下的IQA方法,TOPIQ,模仿人类视觉处理.
- 利用高层次的语义信息,引导网络关注语义上重要的局部扭曲区域.
- 为了提高全参考 (FR) 和无参考 (NR) IQA的效率和性能.
主要方法:
- 设计了一个粗到细的网络 (CFANet),以自上而下的方式逐步传播多层次的语义信息.
- 引入了一个跨度注意力机制,其中更高层次的特征指导了更低层次特征的注意力地图.
- 利用ResNet50作为拟议TOPIQ模型的骨干架构.
主要成果:
- 与最先进的方法相比,TOPIQ在公共FR和NR IQA基准上表现优越或具有竞争力的表现.
- 拟议的方法显著更有效,需要大约13%的FLOPS领先的FR IQA方法.
- 交叉尺度注意力机制有效地强调语义上相关的区域用于扭曲检测.
结论:
- TOPIQ为图像质量评估提供了一种有效和高效的自上而下的方法.
- 该方法成功地将语义指导集成到IQA过程中,提高了性能.
- 这些发现表明,模仿人类视觉注意力机制可以增强基于深度学习的IQA系统.
