DFormer++: Mejora del aprendizaje de representación RGBD para segmentación semántica

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático

Sus antecedentes:

• La segmentación semántica RGB-D enfrenta desafíos debido a la falta de coincidencia entre los modelos preentrenados con RGB y los datos RGB-D.
• Los métodos existentes a menudo no logran codificar eficazmente las relaciones geométricas 3D presentes en los mapas de profundidad.

Objetivo del estudio:

• Proponer DFormer++, un novedoso marco de preentrenamiento y ajuste fino para aprender representaciones transferibles para la segmentación semántica RGB-D.
• Abordar el problema común de la falta de coincidencia en la segmentación semántica RGB-D.

Principales métodos:

• Se desarrolló DFormer++, un marco que preentrena redes troncales utilizando pares de imágenes y profundidad de ImageNet-1K, lo que permite la codificación directa de representaciones RGB-D.
• Se introdujeron bloques de atención RGB-D con un novedoso mecanismo de atención adaptado para codificar información tanto de RGB como de profundidad.

Principales resultados:

• DFormer++ evita eficazmente la codificación desajustada de la geometría 3D por parte de las redes troncales preentrenadas con RGB.
• La arquitectura adaptada reduce los parámetros redundantes, logrando una percepción RGB-D eficiente y precisa.
• Se logró un rendimiento de vanguardia en tres puntos de referencia populares de segmentación semántica RGB-D.

Conclusiones:

• El marco propuesto DFormer++ aprende con éxito representaciones RGB-D robustas.
• La novedosa arquitectura y la estrategia de preentrenamiento mejoran significativamente el rendimiento y la eficiencia en la segmentación semántica RGB-D.