Estimación de Pose 6DoF de Objetos Transparentes: Conjunto de Datos y Método

Área de la Ciencia:

• Robótica
• Visión por Computadora
• Inteligencia Artificial

Sus antecedentes:

• La estimación de pose de seis grados de libertad (6DoF) es crucial para el agarre robótico.
• Los objetos transparentes plantean un desafío significativo para los métodos existentes de estimación de pose 6DoF debido a su falta de textura.
• La estimación precisa de la pose es vital para permitir que los robots interactúen y manipulen objetos transparentes de manera efectiva.

Objetivo del estudio:

• Proponer una novedosa red de fusión jerárquica de características (HFF6DoF) para la estimación precisa de la pose 6DoF de objetos transparentes.
• Abordar las limitaciones de los métodos actuales para manejar objetos transparentes sin textura.
• Introducir un nuevo conjunto de datos de referencia para la evaluación de la estimación de pose 6DoF de objetos transparentes.

Principales métodos:

• Una red de doble rama extrae características de apariencia y geometría de imágenes RGB-D.
• La fusión jerárquica de características agrega información para mejorar la representación.
• Un módulo de decodificación realiza la segmentación semántica y la predicción del campo vectorial de puntos clave.
• Se utilizan Random Sample Consensus (RANSAC) y Least-Squares Fitting para el cálculo de la pose basado en las salidas predichas.
• Se creó un nuevo conjunto de datos, TDoF20, que comprende 61.886 pares de imágenes RGB-D de 20 tipos de objetos transparentes.

Principales resultados:

• La red HFF6DoF propuesta demuestra un rendimiento superior en comparación con los métodos de vanguardia.
• El método logró una mejora significativa en el conjunto de datos TDoF20, con un ADD promedio del 50,5%.
• El enfoque de fusión jerárquica de características aprovecha eficazmente la información tanto de apariencia como geométrica.

Conclusiones:

• La red HFF6DoF ofrece una solución robusta para el desafiante problema de la estimación de pose 6DoF para objetos transparentes.
• El conjunto de datos TDoF20 desarrollado proporciona un recurso valioso para la investigación futura en esta área.
• Los hallazgos avanzan las capacidades de los sistemas robóticos en el manejo de objetos transparentes.