Hombres detrás de las oclusiones

Área de la Ciencia:

• Visión por computadora
• Gráficos por computadora
• Aprendizaje automático

Sus antecedentes:

• Render humanos en 3D de vídeos monoculares es un reto, especialmente con las oclusiones.
• Los métodos existentes fallan en escenarios del mundo real debido a obstrucciones que bloquean la vista de la cámara.

Objetivo del estudio:

• Desarrollar un enfoque de renderizado neuronal para reconstruir humanos en 3D a partir de vídeos monoculares ocultos en la naturaleza.
• Abordar las limitaciones de los métodos actuales en el tratamiento de las oclusiones parciales.

Principales métodos:

• Presentado Wild2Avatar, una nueva técnica de representación neuronal.
• Parametrización de la escena consciente de la oclusión propuesta para desacoplar los elementos de la escena.
• Funciones objetivas diseñadas para hacer cumplir la separación humana y la integridad del modelo.

Principales resultados:

• Render con éxito humanos en 3D de videos con oclusiones significativas.
• Eficacia demostrada en 14 conjuntos de datos de video en la naturaleza.
• Logró una robusta reconstrucción del modelo humano a pesar de las oclusiones.

Conclusiones:

• Wild2Avatar hace avances en la representación neuronal para vídeos monoculares ocluidos.
• El método permite la reconstrucción humana en 3D en entornos complejos del mundo real.
• Abre el camino para una comprensión más robusta de la escena con conciencia humana.