通过语义驱动的生成对立网络与图形表示学习双相面部照片素描合成
IEEE transactions on neural networks and learning systems
|December 19, 2023
概括
本研究引入了一种新的方法,用于创建现实的面部照片素描对,使用语义驱动的生成对抗网络和图形表示学习. 该方法增强了细节和结构,在合成质量方面表现优于现有方法.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 双相面部照片素描合成对数字娱乐和执法有价值.
- 现有的方法与低质量的草图和照片变化作斗争,导致不自然的输出.
研究的目的:
- 开发一种新的语义驱动的生成对抗网络 (GAN),用于高保真度的双相面部照片素描合成.
- 为了解决以前的全球视图生成方法的局限性.
主要方法:
- 将类智能语义布局注入基于风格的空间信息生成器.
- 构建类内语义图 (IASG) 和类间结构图 (IRSG),以增强面部细节和结构协调.
- 采用双相交互式循环训练策略,利用多层次特征的一致性.
主要成果:
- 提出的方法显著提高了合成面部素描的质量和真实性.
- 图形表示学习增强了面部细节的现实性和结构连贯性.
- 这种方法在CUHK面部草图 (CUFS) 和CUFS FERET (CUFSF) 数据集上胜过了最先进的方法.
结论:
- 语义驱动的GAN与图形表示学习提供了一种优越的方法,用于双相面部照片素描合成.
- 该方法有效地处理照片的变化,并产生自然的,高保真度的结果.


