非局所マルチビュー立体視のための階層的優先事項マイニングアプローチ

科学分野:

• コンピュータビジョン
• 3D再構成
• 計算幾何学

背景:

• マルチビュー立体視（MVS）は、2D画像からの3Dジオメトリ回復に不可欠です。
• 低テクスチャ領域は大きな課題を提示し、再構成の品質を低下させます。
• 既存のMVS方法は、しばしば局所情報と単一の優先事項に依存しており、パフォーマンスを制限しています。

研究 の 目的:

• 非局所マルチビュー立体視のための新しいフレームワークを開発すること。
• 特に困難な低テクスチャ領域における3D再構成の堅牢性と完全性を強化すること。
• ジオメトリ回復を改善するためにマルチソース優先事項を活用すること。

主な方法:

• 非局所MVSのための階層的優先事項マイニング（HPM）フレームワークを提案しました。
• 正確な初期仮説と平面優先事項モデルのために非局所操作を使用したHPM-MVSを開発しました。
• 確率的グラフィカルモデルに構造化画像情報と空間幾何関係を組み込んだHPM-MVS++を導入し、新しいマルチビューマッチングコストをもたらしました。

主要な成果:

• HPM-MVSは正確な初期仮説と改善された平面優先事項モデリングを提供します。
• HPM-MVS++は、困難なシナリオでの堅牢性を大幅に強化し、再構成の完全性を向上させます。
• ETH3DおよびTanks & Templesデータセットでの実験的検証は、優れたパフォーマンスと汎用性を示しています。

結論:

• HPMフレームワークは、優れたMVSのために非局所構造的手がかりとマルチソース優先事項を効果的に捉えます。
• HPM-MVSおよびHPM-MVS++は、3D再構成のための既存の方法よりも大幅な改善を提供します。
• このアプローチは、ベンチマークデータセットで強力なパフォーマンスと汎用性を示しています。