StudioGAN:用于图像合成的GAN的分类和基准
IEEE transactions on pattern analysis and machine intelligence
|August 18, 2023
概括
研究人员开发了StudioGAN,这是一个开源库,解决了对生成对抗网络 (GAN) 缺乏可靠的基准. 它提供一致的培训和评估,使GAN模型能够公平地进行比较,以实现现实的图像合成.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 机器学习 机器学习
背景情况:
- 生成对抗网络 (GAN) 是实现现实的图像合成的最先进技术.
- 目前的GAN研究生态系统缺乏可靠,一致和公平的评估基准.
- 有限验证的GAN实现需要研究人员的大量努力来实现基线复制.
研究的目的:
- 解决在GAN研究中对标准化基准的需求.
- 介绍StudioGAN,这是一个用于GAN实现,培训和评估的开源库.
- 为各种GAN架构和方法提供一个统一的平台,以进行可复制和公平的比较.
主要方法:
- 开发了StudioGAN,这是一个开源库,支持7个GAN架构,9个调节方法,4个对抗损失,12个规范化模块,3个可差异增强,3个评估指标和5个评估骨干.
- 使用CIFAR10,ImageNet,AFHQv2,FFHQ和Baby/Papa/Granpa-ImageNet等数据集建立了一个大规模的基准.
- 为代表性GAN (BigGAN,StyleGAN系列) 实施了统一的培训管道,并使用7个指标和3个骨干 (InceptionV3,SwaV,Swin Transformer) 评估了性能.
主要成果:
- StudioGAN为GAN研究提供了一个全面的工具套件,包括实施,培训和评估脚本与预训练的权重.
- 一个大规模的基准被介绍,评估了尖端的生成模型,如StyleGAN-XL,ADM,MaskGIT和RQ-Transformer.
- 该研究在各种模型和数据集中一致量化了产能性能,促进了可靠的比较.
结论:
- StudioGAN为GAN培训和评估的挑战提供了强大而灵活的解决方案.
- 该图书馆和基准促进可重现的研究,并加速现实的图像合成的进步.
- 对于GAN研究社区来说,StudioGAN是一个宝贵的资源,在模型开发和评估中增强了一致性和公平性.
