Cross360: Estimación de profundidad monocular de 360° mediante proyecciones cruzadas a través de escalas

Área de la Ciencia:

• Visión por Computadora
• Aprendizaje Automático
• Reconstrucción 3D

Sus antecedentes:

• La estimación de profundidad de 360° es compleja debido a las distorsiones de las imágenes esféricas y los desafíos para mantener la continuidad global.
• Los métodos existentes luchan por equilibrar la consistencia local y global, con una percepción global limitada en las características locales y discrepancias en los límites de los parches.

Objetivo del estudio:

• Proponer Cross360, una novedosa arquitectura para una estimación de profundidad de 360° precisa y globalmente consistente.
• Integrar eficazmente información local y global utilizando parches de tangente con menor distorsión y características equirectangulares.

Principales métodos:

• Desarrolló una arquitectura basada en atención cruzada, Cross360, que integra parches de tangente locales y características equirectangulares.
• Introdujo un módulo de alineación de características de proyección cruzada que utiliza atención cruzada para alinear características locales con el contexto global.
• Implementó un módulo de agregación de características progresiva con atención para refinar características multiescala.

Principales resultados:

• Cross360 supera significativamente a los métodos existentes en la mayoría de los conjuntos de datos de referencia, particularmente aquellos con imágenes completas de 360°.
• Demostró una precisión mejorada y consistencia global en la estimación de profundidad de 360°.
• Logró un rendimiento de vanguardia en tareas desafiantes de estimación de profundidad de 360°.

Conclusiones:

• Cross360 ofrece una solución eficaz para una estimación de profundidad de 360° precisa y globalmente consistente.
• La arquitectura propuesta aborda con éxito las limitaciones de los métodos anteriores en el manejo de datos de imágenes esféricas.
• El método muestra un gran potencial para aplicaciones que requieren una comprensión precisa de escenas 3D a partir de imágenes panorámicas.