Revisiting 360 Depth Estimation With PanoGabor: A New Fusion Perspective

Área de la Ciencia:

• Visión por Computadora
• Reconstrucción 3D
• Aprendizaje Automático

Sus antecedentes:

• La estimación de profundidad monocular 360 es crucial para la percepción del entorno 3D.
• Las distorsiones inherentes y el amplio campo de visión (FoV) en las imágenes 360 presentan desafíos significativos.
• Los métodos existentes a menudo se basan en representaciones intermedias (por ejemplo, Cubemap) que reintroducen distorsiones al convertirse a proyección equirectangular (ERP).

Objetivo del estudio:

• Proponer un marco de fusión Gabor consciente de la distorsión orientada (PGFuse) para la estimación de profundidad monocular 360.
• Abordar los desafíos que plantean las distorsiones y el gran campo de visión (FoV) en las imágenes 360.
• Mejorar la extracción de características y la utilización de señales de profundidad.

Principales métodos:

• Introducción de filtros Gabor para el análisis de texturas en el dominio de la frecuencia, expandiendo los campos receptivos y mejorando las señales de profundidad.
• Desarrollo de una representación de distorsión consciente de la latitud para crear filtros Gabor personalizados y conscientes de la distorsión (filtros PanoGabor).
• Diseño de un módulo de fusión unidireccional a nivel de canal y espacial (CS-UFM) para integrar filtros PanoGabor y unificar las representaciones en formato ERP.
• Implementación de una restricción de gradiente esférico para estabilizar la sensibilidad a la orientación de las transformadas de Gabor.

Principales resultados:

• El marco PGFuse propuesto demuestra un rendimiento superior en comparación con los métodos de vanguardia.
• Los resultados experimentales en tres puntos de referencia interiores 360 validan la efectividad del enfoque.
• El método genera con éxito características efectivas y conscientes de la distorsión para la estimación de profundidad.

Conclusiones:

• PGFuse ofrece una solución robusta para la estimación de profundidad monocular 360 al gestionar eficazmente las distorsiones de la imagen.
• El marco mejora la percepción de profundidad en entornos 3D capturados por cámaras 360.
• Las técnicas desarrolladas proporcionan un avance significativo en el campo del procesamiento de imágenes 360.