単眼動的ビデオからの階層的4Dガウシアン スプラッティング: Hie4DGS

科学分野:

• コンピュータビジョン
• 3D再構成
• コンピュータグラフィックス

背景:

• 単眼動的ビデオ再構成は、限定的な観測と複雑な3Dモーションのために困難です。
• 既存の動的3Dガウシアン スプラッティング法は、マルチカメラの手がかりに依存したり、構造的整合性を無視したりするため、単眼設定では失敗することがよくあります。

研究 の 目的:

• 単眼ビデオからの複雑な動的モーションをモデル化するための新しい階層構造表現であるHie4DGSを提案すること。
• 単眼シナリオにおける現在の動的3Dガウシアン スプラッティング技術の限界に対処すること。

主な方法:

• 階層構造を使用してシーンモーションを複数の粒度に分解すること。
• 階層的意味セグメンテーションを活用して3Dガウシアンをグループ化し、深度と追跡の事前情報でモーションを初期化すること。
• モーション構造の一貫性を強化するために、構造レンダリング損失を導入すること。

主要な成果:

• 複雑なモーションを持つ単眼ビデオデータセットでレンダリング品質の大幅な改善を達成しました。
• 単眼再構成において、最先端の動的ガウシアン法と比較して優れたパフォーマンスを示しました。
• 提案された階層表現とレンダリング損失を通じて、モーションの曖昧さを効果的に低減しました。

結論:

• Hie4DGSは、階層構造を使用して単眼ビデオ内の複雑な動的モーションを効果的にモデル化します。
• 提案された方法は、動的3Dガウシアン スプラッティングのレンダリング品質と構造的一貫性を向上させます。
• この研究は、困難な単眼動的ビデオ再構成タスクに有望なソリューションを提供します。