単一画像からの高忠実度3D顔再構成のための階層型マルチ解像度自己教師ありフレームワークと学習可能なGabor認識テクスチャモデリング

科学分野:

• コンピュータビジョン
• コンピュータグラフィックス
• 機械学習

背景:

• 単一画像からの3D顔再構成は、曖昧な深度と絡み合ったテクスチャのために困難です。
• 既存の方法は、微細なスケールの詳細や変動に対する堅牢性に苦労しています。

研究 の 目的:

• 高忠実度3D顔再構成のための階層型マルチ解像度自己教師ありフレームワーク（HMRフレームワーク）を提案すること。
• 統一されたパイプライン内で、粗い、中程度の、細かいスケールの顔の幾何学的形状を段階的に再構成すること。
• 細かいスケールのテクスチャ忠実度を向上させ、エッジ認識機能を維持すること。

主な方法:

• 階層型マルチ解像度自己教師ありフレームワーク（HMRフレームワーク）。
• 3Dモデリングモデル回帰による粗い幾何学的事前推定。
• グローバルローカルマルコフ確率場損失を使用した頂点変形マップによる中スケール洗練。
• 空間周波数分離のための学習可能なGabor認識テクスチャ強調モジュール。
• エッジ認識テクスチャ維持のためのウェーブレットベースの詳細知覚損失。

主要な成果:

• HMRフレームワークは、最先端の方法と比較して優れた微細な詳細再構成を実現します。
• このフレームワークは、さまざまなポーズ変動に対して堅牢性を示します。
• 階層設計により、幾何学的スケール全体で意味的な一貫性が向上します。

結論:

• 提案されたHMRフレームワークは、単眼画像からの高忠実度3D顔再構成のための機能的なソリューションを提供します。
• この方法は、深度の曖昧さとマルチスケールテクスチャの絡み合いの課題を効果的に解決します。
• 階層的アプローチは、3D顔モデリングの精度と堅牢性を向上させます。