谈到编辑:通过对话框进行细粒度的2D和3D面部编辑
IEEE transactions on pattern analysis and machine intelligence
|December 26, 2023
概括
通过自然语言对话框,Talk-to-Edit可以通过自然语言对话框进行连续,细粒度的面部属性操纵. 这种交互式框架在GAN潜伏空间中使用了一个新的语义字段,以实现更流,更现实的编辑,优于现有方法.
科学领域:
- 计算机视觉 计算机视觉
- 人工智能的人工智能
- 自然语言处理自然语言处理.
背景情况:
- 生成模型可以创建高保真度的2D和3D面部图像.
- 现有的面部编辑方法缺乏连续的,细粒度的控制和自然的用户交互.
研究的目的:
- 提出一个交互式面部编辑框架,Talk-to-Edit,通过用户-系统对话框进行细粒度的属性操作.
- 为了实现连续和自然的面部编辑体验.
主要方法:
- 在生成对立网络 (GAN) 潜伏空间中建模一个连续的语义字段.
- 制定细粒度编辑,如在语义场上找到曲线轨迹,以用户语言请求和图像上下文为指导.
- 为有意义的对话生成语言反,考虑用户请求和语义字段的状态.
- 证明2D和3D意识生成模型的有效性,为3D意识模型引入"三平面"流.
- 创建CelebA-Dialog数据集用于视觉语言面部编辑研究.
主要成果:
- 实现了光滑,细粒度的面部编辑,保留了身份和属性.
- 与以前的方法相比,展示了卓越的视觉摄影现实主义和对话流性.
- 用户研究显示,80%的人更喜欢Talk-to-Edit系统.
- "三平面"流动有效地模拟了对3D意识模型的颜色和密度空间的变化.
结论:
- Talk-to-Edit提供了一种新且有效的方法,用于使用对话的交互式面部编辑.
- 拟议的语义场和轨迹寻找方法使面部属性操纵具有前所未有的控制和现实性.
- CelebA-Dialog数据集有助于未来的视觉语言面部编辑研究.


