Pose2met: 3D人体姿勢推定とエネルギー消費量推定のための統一時空間フレームワーク

科学分野:

• コンピュータービジョン
• 生体医工学
• 機械学習

背景:

• 正確な3D人体姿勢推定（HPE）およびエネルギー消費量推定（EEE）は、フィットネスおよびヘルスケアにとって非常に重要です。
• 既存の方法は、複雑な活動や一般化において課題に直面することがよくあります。
• 統一フレームワーク内でのHPEおよびEEEの共同最適化は、未解決の研究分野のままです。

研究 の 目的:

• 3D HPEおよびEEEにおける課題に対処するため、統一フレームワークを開発すること。
• 複雑な活動の処理を改善し、一般化能力を強化すること。
• 2D姿勢入力からの直接予測のために、姿勢ダイナミクスと代謝パターンを共同で最適化すること。

主な方法:

• 共同3D HPEおよびEEEのための統一されたエンドツーエンドフレームワークであるPose2Metを提案しました。
• 運動モデリングのための時空間集約姿勢（STAP）表現を利用するTransformerモデルであるSTAPFormerを導入しました。
• 共同最適化のための統一された姿勢代謝学習戦略を実装しました。

主要な成果:

• STAPFormerはHuman3.6Mで38.2 mm MPJPEを達成し、既存モデルを上回りました。
• EEE予測は、姿勢ベースの入力でVid2Burn-ADLで22.1 kcal MAEを達成しました。
• 統一フレームワークは、堅牢性と一般化能力の向上が実証され、2D姿勢ベースのEEEは3D姿勢ベースの精度に迫りました。

結論:

• 高品質な運動表現は、HPEとEEEの両方にとって不可欠です。
• Pose2Metは、インテリジェントなフィットネスおよびヘルスケアアプリケーションにおいて大きな可能性を示しています。
• このフレームワークは、姿勢と消費量推定の間のギャップを埋めるための有望な方向性を提供します。