学习表现引导的扩散模型用于大图像生成

科学领域:

• 计算机视觉 计算机视觉
• 机器学习 机器学习
• 医疗成像医学成像
• 遥感 遥感 遥感 遥感

背景情况:

• 扩散模型需要辅助数据来进行高保真样本合成,这往往是不切实际的,因为在专业领域需要大量的注释.
• 自主监督学习 (SSL) 表示捕获丰富的语义和视觉信息,可能作为微细的人类标签的代理.

研究的目的:

• 为培训基于SSL嵌入的扩散模型开发一种新的方法.
• 为了证明SSL嵌入的有效性作为图像生成中手动注释的替代品.
• 为了实现大,空间一致的图像的合成,并探索文本到图像生成.

主要方法:

• 训练有素的扩散模型使用自主监督学习 (SSL) 模型的嵌入.
• 从SSL功能生成高质量的组织病理学和遥感图像.
• 从SSL嵌入中组装空间一致的补丁,以构建更大的图像,保留远程依赖.
• 通过从文本描述生成病理学和卫星图像来证明文本对大图像的合成.

主要成果:

• 基于SSL嵌入条件的扩散模型成功生成了高保真基因病理学和遥感图像.
• 生成的图像增强了真实数据,改善了补丁级和图像规模分类的下游分类器准确性.
• 这些模型表现出强度和通用性,在未见的数据集上表现良好.
• 从文本描述中成功合成了大图像,展示了一个新的文本到大图像范式.

结论:

• SSL表示是细粒度标签的有效代理,可以在没有手动注释的情况下进行扩散模型训练.
• 拟议的方法提高了图像合成质量,并提高了下游分类性能.
• 该方法是通用和强大的,在需要高保真图像生成的各种领域有潜在的应用.