免费编辑:无面具的基于参考的图像编辑,使用多模式指令

科学领域:

• 计算机视觉 计算机视觉
• 人工智能的人工智能
• 图像处理 图像处理

背景情况:

• 用户指定的视觉概念为图像编辑提供比文本更精确的意图.
• 由于数据集的限制和手动掩护要求,现有的方法在基于引用的编辑方面遇到了困难.

研究的目的:

• 引入FreeEdit,这是一种以多模式指令为指导的基于引用的图像编辑的新方法.
• 为了从参考图像中增强细粒度细节的重建.
• 为基于参考的图像编辑任务开发合适的数据集.

主要方法:

• 利用多模式指令编码器来解释语言指令以指导编辑过程.
• 引入解余参考注意 (DRRA) 模块,以整合参考细节而不会破坏自我注意.
• 编辑FreeEdit数据集,使用图像三重组的新两次重新绘制方案 (编辑前/后,说明,参考图像).

主要成果:

• 通过分阶段培训和质量调整,FreeEdit实现了高质量的零拍摄编辑.
• 德拉模块有效地集成了细粒度的参考特征.
• 广泛的实验表明FreeEdit在各种编辑任务 (添加,替换,删除) 中优于现有方法.

结论:

• FreeEdit提供了一个有效和用户友好的解决方案,用于基于引用的图像编辑.
• 这种方法隐含地定位了编辑区域,消除了对手动口罩的需求.
• 精心策划的FreeEdit数据集促进了这一领域的进一步研究.