层网:穿着衣服的人的高分辨率语义3D重建
IEEE transactions on pattern analysis and machine intelligence
|November 14, 2023
概括
我们介绍SMPLicit和LayerNet,这是统一的3D身体和服装重建的新型生成模型. 这些模型准确地捕捉到各种各样的服装类型和姿势,从而实现现实的3D虚拟试穿应用.
科学领域:
- 计算机视觉 计算机视觉
- 计算机图形 计算机图形
- 机器学习 机器学习
背景情况:
- 现有的3D重建方法通常需要特定于服装的模型.
- 在3D中表示各种服装拓和身体形状仍然具有挑战性.
研究的目的:
- 介绍SMPLicit,这是一个统一的身体,姿势和服装几何表示的生成模型.
- 开发LayerNet,这是一个深度网络,可以从单个图像同时进行身体和衣服的3D重建.
- 启用无关服装的3D重建,并促进3D虚拟试穿.
主要方法:
- SMPLicit统一了各种服装拓,尺寸和紧密度的表示.
- 层网采用粗细的策略,预测光滑的织物几何形状,然后通过图像引导网络来完善细节.
- 这种方法可以恢复像纹这样的高频细节,并适应具有挑战性的身体姿势.
主要成果:
- 在受控的环境中,LayerNet实现了与最先进的服装无神论方法相比具有竞争力的准确性.
- 该方法在具有挑战性的姿势和不受控制的环境中超越了现有的方法.
- 展示了穿着人类的高保真3D重建.
结论:
- SMPLicit和LayerNet提供了一个统一且强大的解决方案,用于3D穿着人体重建.
- 在语义上丰富的3D输出适合直接的3D虚拟试用.
- 为各种场景推进无关服装的3D重建.


