セルフィー画像修正のためのエンドツーエンドの深度ベースのパイプライン

科学分野:

• コンピュータ・ビジョン
• 深層学習
• 画像処理

背景:

• クローズアップの肖像画やセルフィーは しばしば視点の歪みを示します
• 歪みを修正する既存の方法は複雑で時間がかかります.

研究 の 目的:

• 顔画像の視点の歪みを軽減するためのエンドツーエンドのディープラーニングパイプラインを開発する.
• 肖像画の画像修正の品質と効率を向上させる

主な方法:

• 視野の調整のための顔の深さを予測する深部収束神経ネットワーク (CNN) です.
• 微分可能なレンダラーは,深さの推定と特徴の抽出のエンドツーエンドトレーニングを容易にする.
• カメラの動きを予測するモジュールの助けを借りて,inpaintingモジュールは欠けているピクセルを再構築します.

主要な成果:

• 提案されたパイプラインはフルフレームの画像の 透視の歪みを効果的に修正します
• 定量的な評価と 質的な評価の両方において 過去の方法よりも優れています
• 3D GANベースの方法と同様の結果が得られるが,260倍以上速い.

結論:

• ディープラーニング・パイプラインは 肖像画の視点の歪み修正に 迅速かつ効果的な解決策を提供します
• フルフレーム画像の処理は,複合的な後処理を排除し,訂正プロセスを簡素化します.
• Unreal Engineで生成された合成データの使用は,このアプローチの強さを示しています.