単眼3次元ヒト姿勢推定のためのMixture-of-ExpertsネットワークPoseMoE

科学分野:

• コンピュータビジョン
• 機械学習
• ヒト姿勢推定

背景:

• 単眼3次元ヒト姿勢推定は、2D姿勢を使用したlifting-based手法に大きく依存しています。
• これらの手法は、特徴の絡み合いと初期深度の不確かさのために深度推定に苦労します。
• 既存のアプローチは、不確かな深度と洗練された2D姿勢情報を組み合わせることで精度を制限しています。

研究 の 目的:

• 現在のlifting-based手法の限界を克服する、単眼3次元ヒト姿勢推定のための新しいアプローチを開発すること。
• 精度向上のために、2D姿勢特徴と深度特徴のエンコーディングを分離すること。
• クロスエキスパート知識集約を通じて特徴表現を強化すること。

主な方法:

• 単眼3次元姿勢推定のためのMixture-of-ExpertsネットワークであるPoseMoEを導入しました。
• 専門のエキスパートモジュールを利用して2D姿勢特徴を洗練し、深度特徴を独立して学習させました。
• 双方向マッピングによる時空間特徴強化のために、クロスエキスパート知識集約モジュールを実装しました。

主要な成果:

• PoseMoEは、2D姿勢と深度特徴のエンコーディングを効果的に分離し、初期深度の不確かさによる悪影響を軽減します。
• クロスエキスパート集約モジュールは、時空間コンテキストを統合することで特徴表現を強化します。
• PoseMoEは、Human3.6M、MPI-INF-3DHP、3DPWデータセットにおいて、従来のlifting-based手法と比較して優れた性能を示しました。

結論:

• 提案されたMixture-of-Expertsアプローチ（PoseMoE）は、単眼3次元ヒト姿勢推定において顕著な進歩をもたらします。
• 2D姿勢と深度特徴学習の分離は、正確な深度推定に不可欠です。
• PoseMoEは、単眼3次元ヒト姿勢推定のためのより堅牢で正確なソリューションを提供します。