改进了基于隐性扩散的IC-DGAN框架,用于高分辨率的多功能和表达式操纵
1Centre for Trusted Internet & Community, National University of Singapore, Singapore.
概括
本研究介绍了IC-DGAN,这是一个用于高级面部编辑的新型深度生成对抗网络. 它能够精确地操纵多个面部特征和表情,以高准确性和现实主义.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 生成型模型 生成型模型
背景情况:
- 面部表情和多功能操纵对于媒体和生物识别至关重要.
- 现有的方法在语义一致性,姿势/照明灵敏度和计算成本方面扎.
研究的目的:
- 提出一个改进的基于隐性扩散的深度生成对抗网络 (IC-DGAN),用于精确的语义多特征和面部表情操纵.
- 解决当前面部编辑技术的局限性,包括语义不一致性和高计算需求.
主要方法:
- 开发了IC-DGAN框架,集成多个生成器/歧视器,K-means集群和建设性预培训.
- 利用规模不变特征转换 (SIFT) 和潜在扩散模型来进行属性解和操纵.
- 通过将肖像映射到潜伏空间,使视觉扭曲最小化,启用了强大的属性编辑 (年龄,性别,表达).
主要成果:
- IC-DGAN实现了12.3%的意外肖像变化减少,并提高了8.7%的操纵精度.
- 该框架获得了25.94的Fréchet起始距离 (FID),超过了最先进的方法.
- 证明了高分辨率,现实的肖像生成与同步的多层次分解.
结论:
- IC-DGAN为高保真面部编辑提供了强大的解决方案,克服了该领域的重大挑战.
- 拟议的框架推进了精确的语义多功能和面部表情操纵能力.
- 结果突出了媒体娱乐和生物识别法医学的改进应用的潜力.
