一种以自然语言为导向的盲人面部修复方法:方法和数据集

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 盲人面部修复 (BFR) 旨在在没有事先知识的情况下从退化图像中恢复高质量的面部.
• 当前的基于GAN和扩散的方法提高了现实主义,但在严重退化下与微妙的细节和身份扭曲作斗争.
• 现有的BFR方法仅依赖于视觉线索,限制了微细面部特征的重建精度.

研究的目的:

• 通过结合辅助文本信息来改进盲人面部修复 (BFR).
• 为了使微妙的面部特征如纹和子经常错过仅视觉方法的恢复.
• 通过提高准确性和细节,为BFR任务建立一个新的基准.

主要方法:

• 构建了一个大规模的数据集,包括30,000个详细的文本描述,并与CelebA-HQ的面部图像配对.
• 开发了FaceCLIP,这是一个微调的视觉语言模型,用于准确的面部图像-文本对齐.
• 拟议的文本引导盲人面部恢复 (TBFR),这是一个基于扩散的框架,通过混合注意力和文本意识损失集成文本引导.

主要成果:

• TBFR有效地融合了视觉和文本特征,以改善面部重建.
• 文本意识损失强制执行语义一致性,增强身份保护和细节恢复.
• 实验结果表明TBFR在定量和定性评估中优于最先进的BFR方法.

结论:

• 文本引导的BFR显著提高了微妙的面部细节和身份的重建.
• 拟议的FaceCLIP模型和TBFR框架为高保真面部修复建立了一个新的标准.
• 整合文本信息为推进BFR研究和应用提供了一个有希望的方向.