通过文本驱动评估推进零射击数字人类质量评估.

科学领域:

• 计算机视觉 计算机视觉
• 数字媒体质量评估 数字媒体质量评估
• 人与计算机的交互

背景情况:

• 数字人类越来越多地被用于各种领域,突出了对质量评估的需求.
• 现有的数字人体质量评估 (DHQA) 数据库不足以进行全面的研究.

研究的目的:

• 引入SJTU-H3D数据库,为全身数字人类提供主观质量评估资源.
• 为无参考 (NR) 场景提出一种新的零射击DHQA方法.

主要方法:

• 创建了SJTU-H3D,拥有40个参考和1,120个扭曲的数字人类,跨越七种扭曲类型.
• 开发了一种零射击的DHQA方法,集成了语义 (CLIP),扭曲 (NIQE) 和几何 (二面角) 特性.
• 通过汇总这些特征,引入了数字人类质量指数 (DHQI).

主要成果:

• SJTU-H3D数据库为评估和完善DHQA算法提供了一个基准.
• 拟议的零射击DHQA方法显示了显著的性能改善.
• DHQI 作为各种 DHQA 任务的强大基准.

结论:

• SJTU-H3D数据库和拟议的DHQI方法推进了数字人类质量评估领域.
• 零射击方法确保了概括,并减轻了DHQA中的数据库偏差.
• 开发的资源有助于进一步研究和开发数字人类技术.