PDGrad:用于基于参考的盲人面部恢复的引导扩散模型,带有旋转方向梯度引导
Geon Min1, Tae Bok Lee1, Yong Seok Heo1,2
1Department of Artificial Intelligence, Ajou University, Suwon 16499, Republic of Korea.
Sensors (Basel, Switzerland)
|November 27, 2024
概括
旋转方向梯度指导 (PDGrad) 通过解决多次损失的冲突梯度来增强基于参考的盲面恢复. 这种新的方法在现实应用中提高了面部图像质量.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 基于参考的盲人面部修复 (RefBFR) 使用参考图像来恢复因未知因素而退化的面部.
- 导向扩散模型在没有训练的情况下通过整合多个损失梯度在RefBFR中显示出前景.
研究的目的:
- 引入旋转方向梯度指导 (PDGrad),用于RefBFR的新型梯度调整方法.
- 解决现有的引导扩散模型中相互冲突的梯度导致的低于最佳结果的问题.
主要方法:
- 开发了一个损失函数,结合了低级和高级特征,整合了恢复和参考图像.
- 为解决梯度冲突,为每个功能级别引入了一个枢纽梯度.
- 实现了适应性缩放,用于超过轴向梯度大小的梯度.
主要成果:
- PDGrad有效地管理来自多次损失的冲突梯度.
- 该方法确保从恢复和参考图像中最大限度地提高特征强度.
- 在CelebRef-HQ数据集上进行了广泛的实验,证明了大量的定量和质量的改进.
结论:
- 在引导扩散框架内,PDGrad为RefBFR提供了一种优越的方法.
- 该方法有效地平衡来自多个来源的信息,从而改善了面部修复.
- PDGrad的性能优于现有的方法,显示了其对现实世界的应用的潜力.
