NVS-SQA:探索神经合成场景的自我监督质量表示学习,没有参考

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 机器学习 机器学习

背景情况:

• 神经视图合成 (NVS) 方法,如NeRF和3D高斯分片,可以生成光现实的场景.
• 目前的质量评估依赖于全参考指标 (PSNR,SSIM,LPIPS),这些指标在NVS中与有限的参考视图作斗争.
• 获得NVS的人类感知标签具有挑战性,阻碍了数据集创建和模型通用性.

研究的目的:

• 开发一个无参考的神经合成场景 (NSS) 质量评估方法 (NVS-SQA).
• 为了实现无人标签的高质量表示的自我监督学习.
• 在NSS质量评估的背景下,克服传统自主监督学习的局限性.

主要方法:

• 作为学习目标,NVS-SQA使用自我监督,启发式线索和质量评分.
• 专门的对比对准备过程被用于有效的学习.
• 该方法避免依赖人类感知标签和广泛的数据集.

主要成果:

• 在SRCC,PLCC和KRCC指标中,NVS-SQA显著优于17种无引用方法.
• 在所有评估指标上的表现方面,NVS-SQA超过了16种全参考方法.
• 拟议的方法在NSS质量评估中表现出卓越的有效性和效率.

结论:

• NVS-SQA为无参考NSS质量评估提供了强大而高效的解决方案.
• 自主监督方法有效地学习质量表示,解决数据稀缺和标签获取挑战.
• NVS-SQA为评估神经合成场景设定了一个新的基准.