人間レベルの3D相対姿勢推定:一般化可能,訓練不要,単一の参照

科学分野:

• コンピュータ・ビジョン
• ロボット
• 3D 認識

背景:

• 単一の画像から物体のポーズを 直感的に推定します
• 既存の方法は,多くの場合,広範なトレーニングデータとオブジェクト固有のラベリングを必要とします.
• 3Dの形状認識や レンダリング・アンド・コンパレーション そして意味論的なヒントを活用することが重要です

研究 の 目的:

• 新しい 3D 一般化可能な相対的な姿勢推定方法を提案する.
• 前回の訓練やラベル付けなしに 見えないオブジェクトのポーズ推定を可能にします.
• 訓練のないアプローチを用いて,既存の監督された方法を改善する.

主な方法:

• RGB-D参照画像から2.5Dの形状を使用します.
• レンダリングと比較のシミュレーションのために微分可能なレンダラーを使用します.
• 対応のために,事前に訓練されたモデル (例えば,DINOv2) からセマンティックシグナルを活用します.
• レンダリングされた画像/意味図を比較して,相対的な3Dポーズを精製します.

主要な成果:

• 提案された方法は,LineMOD,LM-O,およびYCB-Vのデータセットで最先端の性能を達成します.
• 特に厳格な精度指標 (Acc@5/10/15°) で,監督された方法よりも優れた性能を示しています.
• 難しいクロスデータセットの実験で強い一般化能力を示しています.

結論:

• 訓練なしの一般化可能な相対姿勢推定方法は,見えない物体に対して有効です.
• 2.5D形状の統合,微分レンダリング,意味の暗示は有望な方向です.
• このアプローチは,3Dポーズ評価の作業における 監督された方法の強力な代替案です