Cross360: スケールを横断するクロスプロジェクションによる360°単眼深度推定

科学分野:

• コンピュータビジョン
• 機械学習
• 3D再構成

背景:

• 360°深度推定は、球状画像歪みとグローバル連続性の維持における課題のため、複雑です。
• 既存の方法は、ローカル特徴量のグローバル認識能力の限界と、パッチ境界での不一致により、ローカルとグローバルの整合性のバランスをとるのに苦労しています。

研究 の 目的:

• 正確でグローバルに一貫性のある360°深度推定のための新しいアーキテクチャ、Cross360を提案すること。
• 歪みの少ないタンジェントパッチとエクイレクタングラー特徴量を使用して、ローカル情報とグローバル情報を効果的に統合すること。

主な方法:

• ローカルタンジェントパッチとエクイレクタングラー特徴量を統合するクロスアテンションベースのアーキテクチャ、Cross360を開発しました。
• クロスアテンションを使用してローカル特徴量をグローバルコンテキストに合わせるクロスプロジェクション特徴量アラインメントモジュールを導入しました。
• マルチスケール特徴量を洗練するためのアテンション付きプログレッシブ特徴量集約を実装しました。

主要な成果:

• Cross360は、特に完全な360°画像を含むほとんどのベンチマークデータセットで、既存の方法を大幅に上回る性能を示しました。
• 360°深度推定における精度とグローバルな一貫性の向上が実証されました。
• 困難な360°深度推定タスクにおいて、最先端のパフォーマンスを達成しました。

結論:

• Cross360は、正確でグローバルに一貫性のある360°深度推定のための効果的なソリューションを提供します。
• 提案されたアーキテクチャは、球状画像データを処理する際の以前の方法の限界をうまく解決します。
• この方法は、パノラマ画像からの正確な3Dシーン理解を必要とするアプリケーションに大きな可能性を示しています。