神经场景设计师:自我设计的语义图像操纵
概括
神经场景设计器 (NSD) 通过控制语义和保持风格一致性来实现现实的图像编辑. 它使用了一个扩散模型与并行交叉注意力和一个新的进步自我风格的代表性学习模块.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
背景情况:
- 保持风格一致性对于图像编辑和inpainting至关重要.
- 当前的方法往往优先考虑语义控制,而不是风格保存.
研究的目的:
- 介绍神经场景设计器 (NSD) 框架,用于照片逼真的图像处理.
- 确保语义与用户意图的调整以及与周围环境的风格一致性.
主要方法:
- 使用先进的扩散模型,为文本和风格提供两个并行的交叉注意力机制.
- 提出进步的自我风格表示学习 (PSRL) 模块,用于细粒度的风格表示.
- 在PSRL中使用风格对比损失来区分图像内和图像间的风格.
主要成果:
- NSD实现了具有语义控制和风格一致性的摄影现实性操纵.
- 该PSRL模块有效地捕获细粒度的风格表示.
- 建立了一个全面的基准来评估图像编辑和风格一致性方法.
结论:
- NSD为高级图像编辑任务提供了一个新的框架.
- 提出的方法和基准有助于在语义和风格控制的图像生成方面取得进展.


