プロキシ特徴量ブレンディングによるマルチモーダルヘア編集の統一

科学分野:

• コンピュータビジョン、コンピュータグラフィックス、人工知能

背景:

• ヘア編集は、精密な制御とユーザーフレンドリーなインタラクションを必要とする挑戦的なコンピュータビジョンタスクである。敵対的生成ネットワーク（GAN）および拡散モデルを使用した既存の手法は、多様なインタラクションモードと属性保持のための統一フレームワークを欠いている。

研究 の 目的:

• マルチモーダルインタラクションをサポートし、正確な編集と忠実な属性保持を保証する、ヘア編集のための新しい統一フレームワークを開発すること。ヘア編集をプロキシベースのヘア転送問題として再定式化すること。

主な方法:

• 正確な操作のためのStyleGANの分離された潜在空間と、属性保持のための特徴空間を活用する。編集条件を別個の転送プロキシに変換して、シームレスな特徴量ブレンディングを実現することにより、多様なモダリティを統一する。EG3DおよびPanoHeadを使用して3D認識設定にフレームワークを拡張し、マルチビューでブーストされたヘア特徴量局在化と3D適合プロキシ生成を利用する。

主要な成果:

• 提案手法は、編集効果、属性保持、視覚的自然さにおいて、既存の手法を一貫して上回ることを示した。3D認識ヘア編集における優れたマルチビューの一貫性を実証した。マルチモーダルおよび混合モーダルヘア編集インタラクションに対する前例のないサポートを達成した。

結論:

• 新しいプロキシベースのヘア転送パラダイムは、複雑なヘア編集タスクのための統一された効果的なソリューションを提供する。フレームワークは、編集と保持の目的をうまく分離し、精度と忠実度の両方を向上させる。3D認識設定への拡張は、さまざまな次元にわたる手法の汎用性と堅牢性を示す。