MonoPrior-Fusion：単眼事前知識誘導型マルチフレーム深度推定とマルチスケール幾何融合

科学分野:

• コンピュータビジョン
• ロボティクス
• 3D認識

背景:

• 正確な3D認識は、屋内ロボティクス、拡張現実、自律ナビゲーションにとって不可欠です。
• 既存のマルチフレーム深度推定手法は、テクスチャの弱さや複雑なレイアウトなどの挑戦的な屋内条件に苦労しています。

研究 の 目的:

• 屋内環境におけるマルチフレーム深度推定を強化するための新しいフレームワーク、MonoPrior-Fusion（MPF）を開発すること。
• テクスチャの弱さや複雑なレイアウトなどの挑戦的な屋内シーンの特性によって引き起こされるパフォーマンスの低下に対処すること。

主な方法:

• MPFは、ピクセルごとの単眼事前知識をマルチビューマッチングプロセスに統合します。
• 階層的な融合アーキテクチャと、仮想平面に基づいた幾何学的整合性損失が採用されています。
• コストボリューム仮説は、一致を曖昧にするために変調されます。

主要な成果:

• MPFは、ベンチマークデータセット（ScanNetV2、7Scenes、TUM RGB-D、GMU Kitchens）で最先端のマルチフレームベースラインを大幅に上回っています。
• この手法は、未知の屋内ドメイン全体で強力な汎化能力を示しています。
• ボリューム融合パイプラインへの統合により、より正確で完全な3D再構築が得られます。

結論:

• MonoPrior-Fusion（MPF）は、屋内ロボティクスおよびARアプリケーション向けのマルチフレーム深度推定を効果的に強化します。
• このフレームワークは、挑戦的なシナリオで既存の手法を上回る、堅牢で正確な3D認識を提供します。
• MPFは、密な3D再構築およびマッピングタスクに大きな可能性を示しています。