MuNeRF:在神经辐射场中强大的化转移
IEEE transactions on visualization and computer graphics
|February 22, 2024
概括
这项研究介绍了一种使用神经辐射场 (NeRFs) 的强大的面部化转移方法,用于在不同姿势和表情中一致的风格转移. 这种新的方法增强了虚拟化应用中的现实主义和控制.
科学领域:
- 计算机视觉 计算机视觉
- 计算机图形 计算机图形
- 人工智能的人工智能
背景情况:
- 面部化转移对于时尚电子商务和虚拟化身至关重要.
- 现有的方法,通常使用生成对抗网络,在不同的姿势和表达方式中缺乏一致性.
- 在不同的面部几何形状下保持化完整性是一个重大挑战.
研究的目的:
- 开发一种强大的面部化转移方法,确保在各种姿势和表情中一致的风格应用.
- 为了在化转移中利用隐性3D表示来实现几何和外观一致性.
- 为了提高合成化效果的视觉质量和真实性.
主要方法:
- 利用神经辐射场 (NeRFs) 来暗示面部几何的3D重建.
- 开发了一种两阶段的方法:用于几何的基本NeRF模块和用于风格转移的化模块.
- 引入了新的混合化损失和UV纹理空间中的基于补丁的区分器,以增强控制和对齐.
主要成果:
- 在各种姿势和表情中实现了一致的化转移,克服了以前方法的局限性.
- 混合化损失显著改善了转移化的视觉质量和真实性.
- 在UV空间的基于贴片的区分器提供了对合成化品分布的准确控制.
结论:
- 拟议的基于NeRF的方法在面部化转移中提供了卓越的稳定性和一致性.
- 新的损失函数和区分器有助于高保真性和可控化合成.
- 这种方法推进了电子商务和化身生成中的虚拟化应用的最新技术.


