GSwap:现实的头部交换与动态的神经高斯场交换
IEEE transactions on visualization and computer graphics
|March 4, 2026
概括
GSwap推出了一种新的视频头部交换系统,使用动态神经高斯先验来实现现实和一致的面部更换. 这种方法克服了2D模型和3D形态面部模型 (3DMM) 的局限性,提高了3D一致性和现实性.
科学领域:
- 计算机视觉 计算机视觉
- 计算机图形 计算机图形
- 人工智能的人工智能
背景情况:
- 现有的视频头部交换方法经常与3D一致性,自然表达合成和无背景集成作斗争.
- 以前使用2D生成模型或3D形态面部模型 (3DMM) 的方法在整体头部建模和现实主义方面存在固有的局限性.
研究的目的:
- 开发一种新的,现实的视频头部交换系统,解决当前最先进方法的局限性.
- 为了实现高保真度,3D一致的肖像染,具有自然的头关系和无的运动动态.
主要方法:
- 介绍了GSwap,该系统利用动态神经高斯肖像前置和全身SMPL-X表面内的3D高斯特征场.
- 调整了一个预训练的2D肖像生成模型,以使用少数镜头学习进行高效的域调整.
- 提出了一个神经重新染策略,以无地进行前景-后景集成,消除混合文物.
主要成果:
- GSwap显著提升了面部和头部置换的最新技术,比现有方法表现出更高的性能.
- 实现了高保真度,3D一致的肖像染,具有自然的面部表情和无运动.
- 成功地将合成前景与原始背景集成在一起,增强了整体现实主义,并消除了文物.
结论:
- GSwap为视频头部交换提供了一个强大的解决方案,在视觉质量,时间连贯性,身份保护和3D一致性方面超过了以前的技术.
- 动态神经高斯场方法与神经再染相结合,在现实和一致的数字人体合成方面取得了重大飞跃.
更多相关视频
11:14A Novel Experimental and Analytical Approach to the Multimodal Neural Decoding of Intent During Social Interaction in Freely-behaving Human Infants
Published on: October 4, 2015
11.6K
08:45Mapping Cortical Dynamics Using Simultaneous MEG/EEG and Anatomically-constrained Minimum-norm Estimates: an Auditory Attention Example
Published on: October 24, 2012
15.3K
