FaceScape: 3D面部数据集和对单视图3D面部重建的基准

科学领域:

• 计算机视觉 计算机视觉
• 计算机图形 计算机图形
• 机器学习 机器学习

背景情况:

• 从单个图像中准确的3D面部重建是具有挑战性的.
• 现有的数据集缺乏强大的模型训练的细节和规模.

研究的目的:

• 介绍FaceScape数据集和评估3D面部重建的基准.
• 提出一种新的算法,用于从单个图像中生成详细,可操纵的3D面部模型.

主要方法:

• 创建了FaceScape:一个包含16,940个有纹理的3D面孔的数据集,每个面孔都有毛孔层次的几何形状,每个主体有20个表情.
• 开发了一个在FaceScape上训练的深度神经网络算法,用于表达式特定的动态细节预测.
• 建立了野外和实验室的基准来评估单视图3D面部重建方法.

主要成果:

• 拟议的算法产生了具有高度详细几何学的可操纵的3D面部模型.
• 该FaceScape基准提供了对3D面部重建精度的全面评估.
• 分析揭示了与重建中的相机姿势和焦距相关的挑战.

结论:

• 该FaceScape数据集和基准促进了单视图3D面部重建的进步.
• 这种新的算法在生成详细和富有表现力的3D面部模型方面表现出卓越的性能.
• 公开发布数据集,基准和代码鼓励进一步的研究.