Denoise-GS: 疎視点3Dガウシアン スプラッティングのための自己教師あり Denoising

科学分野:

• コンピュータビジョン
• コンピュータグラフィックス
• 画像処理

背景:

• 3次元ガウシアン スプラッティングは、新規視点合成のための主要な技術です。
• InstantSplatのような既存の手法は、疎な視点、ノイズ、およびカメラプライアの欠如に苦労しています。
• 生成品質の低下は、疎な入力シナリオにおける重要な問題です。

研究 の 目的:

• 疎でノイズの多い入力データからの高品質な新規ビュー合成のための堅牢なフレームワークを開発すること。
• 困難な実世界の条件下での現在の3Dガウシアン スプラッティング手法の限界を克服すること。
• 3D再構成の精度と視覚的忠実度を向上させること。

主な方法:

• 2ラウンドの最適化フレームワークであるDenoise-GSを提案します。
• 入力画像の自己教師ありデノイジングのためにNoise2Void（N2V）を組み込みます。
• N2V-UNetデノイジングと、ポーズグルーピングおよび共同損失洗練を含むInstantSplatレンダリングを組み合わせます。

主要な成果:

• Denoise-GSは、ピーク信号対雑音比（PSNR）および構造的類似性指標（SSIM）を向上させ、画質を大幅に改善します。
• この手法は、主流のアプローチと比較して、疎でノイズの多い入力画像での新規ビュー生成において優れたパフォーマンスを示します。
• テストのために、入力画像にガウシアンノイズを追加して、ノイズの多い環境を正常にシミュレートしました。

結論:

• Denoise-GSは、3D再構成および新規ビュー合成のための革新的で実用的なソリューションを提供します。
• このフレームワークは、疎でノイズの多い入力データによってもたらされる課題に効果的に対処します。
• 最先端の結果を達成し、実世界のシナリオにおける3Dガウシアン スプラッティングの適用性を高めます。