在生成对抗网络中的部分和外观的双线模型

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 机器学习 机器学习

背景情况:

• 生成对立网络 (GAN) 通过利用它们的潜伏空间中的语义信息来进行先进的视觉编辑和合成.
• 当前的GAN编辑方法往往缺乏架构灵活性,与本地化控制作斗争,或需要监督数据,如细分面具.
• 在GAN中需要无监督的,架构无关的方法来进行细粒度控制,这是该领域的一个重大挑战.

研究的目的:

• 开发一种无监督的,建筑不可知的方法来发现 GAN 中的空间和外观因素.
• 为了实现上下文意识,像素级本地图像编辑,而不需要手动注释或特定的GAN架构.
• 与现有最先进的技术相比,证明拟议方法的效率和准确性.

主要方法:

• 提出了一种无监督的方法,从GAN特征图中共同发现空间部分和外观因素.
• 使用半非负张量因子化,应用于特征图表,以提取这些语义因子.
• 证明了该方法能够生成与发现的外观因素相对应的突出地图,而没有明确的标签.

主要成果:

• 开发的方法成功地以完全不受监督的方式解开空间和外观因素.
• 实现了具有上下文意识的本地图像编辑,具有精确的像素级控制,适用于各种GAN架构和数据集.
• 与以前的方法相比,在训练时间方面表现出更高的效率,并显著提高了局部控制的准确性.

结论:

• 提出的架构不可知论方法为GAN中的无监督,局部控制提供了高效和有效的解决方案.
• 发现的外观因素作为隐含的突出地图,在没有监督的情况下定位概念.
• 这项工作提升了GAN的功能,用于实现精细的直观控制,实现现实的图像编辑和合成.