ConIQA:一种深度学习方法,用于在有限数据的情况下进行感知图像质量评估.
M Hossein Eybposh1,2, Changjia Cai1,2, Aram Moossavi1
1Department of Applied Physical Sciences, The University of North Carolina at Chapel Hill, Chapel Hill, NC, 27599, USA.
Scientific reports
|August 29, 2024
概括
ConIQA是一种新的深度学习图像质量评估方法,通过一致性培训有效评估虚拟和增强现实图像. 它在具有有限标记数据的领域中脱而出,优于计算机生成全息的现有指标.
科学领域:
- 计算机视觉 计算机视觉
- 图像处理 图像处理
- 人与计算机的交互
背景情况:
- 在VR/AR中评估图像质量需要与人类感知保持一致的指标.
- 深度学习图像质量评估 (IQA) 模型与特定领域的扭曲和有限的标记数据作斗争.
- 现有的FR-IQA指标无法充分解决计算机生成全息 (CGH) 等应用中的独特文物.
研究的目的:
- 开发基于深度学习的全参考图像质量评估 (FR-IQA) 模型,ConIQA,以克服现有方法在数据稀缺和特定领域场景中的局限性.
- 引入一种新的数据增强技术和一致性培训,以从标记和未标记的数据中有效学习.
- 验证ConIQA在CGH新数据集上的表现,解决目前IQA未涵盖的文物.
主要方法:
- 开发了ConIQA,一个深度学习的IQA模型,利用一致性培训和一种新的数据增强策略.
- 创建了HQA1k数据集,包含1000张自然图像与CGH染图像配对,由13名人类参与者进行质量评级.
- 在HQA1k数据集上对现有的15个FR-IQA指标进行评估.
主要成果:
- 在HQA1k数据集上,ConIQA在皮尔森 (0.98),斯皮尔曼 (0.965) 和肯德尔的 (0.86) 相关性方面取得了卓越的表现.
- 与其他15个FR-IQA指标相比,在与人类感知相匹配方面显著改善 (高达5%).
- 在低数据制度中展示了一致性培训和数据增强的有效性.
结论:
- 康尼卡为VR/AR中的图像质量评估提供了一个强大的解决方案,特别是在像CGH这样的专业领域.
- 提出的方法有效地从有限的标记数据中学习,降低了IQA模型开发的成本和复杂性.
- 在开发新兴沉浸式技术的感知相关的图像质量指标方面,ConIQA代表了重大进展.


