Hacia la estimación de la postura relativa 3D a nivel humano: generalizable, sin entrenamiento, con una sola referencia

Área de la Ciencia:

• Visión por computadora
• La robótica
• Percepción en 3D

Sus antecedentes:

• Los humanos intuitivamente estiman la pose del objeto a partir de imágenes individuales.
• Los métodos existentes a menudo requieren extensos datos de entrenamiento y etiquetado específico del objeto.
• Aprovechar la percepción de formas en 3D, renderizar y comparar, y las señales semánticas es clave.

Objetivo del estudio:

• Proponer un nuevo método generalizable de estimación de la postura relativa en 3D.
• Para permitir la estimación de la postura de objetos no vistos sin entrenamiento o etiquetado previo.
• Mejorar los métodos vigilados existentes utilizando un enfoque sin formación.

Principales métodos:

• Utiliza una forma 2.5D de una imagen de referencia RGB-D.
• Utiliza un procesador diferenciado para una simulación de procesamiento y comparación.
• Aprovecha las señales semánticas de modelos previamente entrenados (por ejemplo, DINOv2) para la correspondencia.
• Refine la postura relativa 3D mediante la comparación de imágenes renderizadas y de consulta/mapas semánticos.

Principales resultados:

• El método propuesto logra un rendimiento de vanguardia en los conjuntos de datos LineMOD, LM-O y YCB-V.
• Demuestra un rendimiento superior al de los métodos supervisados, en particular con métricas de precisión rigurosas (Acc@5/10/15°).
• Muestra fuertes capacidades de generalización en experimentos desafiantes de conjuntos de datos cruzados.

Conclusiones:

• El método de estimación de la postura relativa generalizable sin entrenamiento es efectivo para objetos invisibles.
• La integración de la forma 2.5D, la representación diferenciable y las señales semánticas es una dirección prometedora.
• Este enfoque ofrece una alternativa sólida a los métodos supervisados en las tareas de estimación de la postura en 3D.