Restauración de Manos y Objetos Mediante Restricciones Basadas en Grafos y Multietapas

Área de la Ciencia:

• Visión por Computadora
• Robótica
• Reconstrucción 3D

Sus antecedentes:

• La reconstrucción de interacciones mano-objeto a partir de vistas únicas es difícil debido a la oclusión y los requisitos de plausibilidad física.
• Los métodos existentes a menudo procesan manos y objetos por separado o utilizan posprocesamiento en etapas posteriores para las restricciones.

Objetivo del estudio:

• Desarrollar un marco novedoso para la reconstrucción holística de la interacción mano-objeto.
• Imponer progresivamente la consistencia física y la precisión geométrica a lo largo del pipeline de reconstrucción.

Principales métodos:

• Entrada: Imagen RGB-D.
• Fusión adaptativa de características para una integración robusta de color y profundidad.
• Priors estructurales y pistas de textura para una inicialización refinada de la pose 3D.
• Atención mutua densa para la recuperación de malla de dispersa a densa y la captura de la dependencia de la interacción.
• Representación de la Función de Distancia Signada (SDF) para superficies de contacto para garantizar la no penetración.

Principales resultados:

• Mejoras significativas en los benchmarks ObMan y DexYCB, superando el estado del arte.
• Conjunto de datos ObMan: mano CDh 0.077 cm², objeto CDo 0.483 cm².
• Conjunto de datos DexYCB: mano CDh 0.251 cm², objeto CDo 1.127 cm².

Conclusiones:

• El marco propuesto de optimización colaborativa holística y multietapa reconstruye eficazmente las interacciones mano-objeto.
• El método logra una alta plausibilidad física y precisión geométrica, superando las técnicas existentes.