Unificación de la Edición de Cabello Multimodal mediante la Mezcla de Características Proxy

Área de la Ciencia:

• Visión por Computadora
• Gráficos por Computadora
• Inteligencia Artificial

Sus antecedentes:

• La edición de cabello es una tarea desafiante de visión por computadora que requiere un control detallado y una interacción fácil de usar.
• Los métodos existentes que utilizan redes generativas adversarias (GAN) y modelos de difusión carecen de un marco unificado para diversos modos de interacción y preservación de atributos.

Objetivo del estudio:

• Desarrollar un marco unificado novedoso para la edición de cabello que admita interacciones multimodales y garantice una edición precisa con una preservación fiel de los atributos.
• Reformular la edición de cabello como un problema de transferencia de cabello basado en proxy.

Principales métodos:

• Aprovechamiento del espacio latente desentrelazado de StyleGAN para una manipulación precisa y su espacio de características para la preservación de atributos.
• Unificación de diversas modalidades mediante la conversión de condiciones de edición en proxies de transferencia distintos para una mezcla de características perfecta.
• Extensión del marco a entornos conscientes en 3D utilizando EG3D y PanoHead con localización de características de cabello mejorada en múltiples vistas y generación de proxies adaptados a 3D.

Principales resultados:

• El método propuesto supera consistentemente a los enfoques anteriores en efectividad de edición, preservación de atributos y naturalidad visual.
• Demostró una consistencia superior en múltiples vistas en la edición de cabello consciente en 3D.
• Logró un soporte sin precedentes para interacciones de edición de cabello multimodales y de modo mixto.

Conclusiones:

• El novedoso paradigma de transferencia de cabello basado en proxy ofrece una solución unificada y eficaz para tareas complejas de edición de cabello.
• El marco desacopla con éxito los objetivos de edición y preservación, mejorando tanto la precisión como la fidelidad.
• La extensión a entornos conscientes en 3D demuestra la versatilidad y robustez del método en diferentes dimensiones.