大規模なニューラル放射域のためのシーンのエキスパートの異質な混合学習

科学分野:

• コンピュータ・ビジョン
• コンピュータ・グラフィックス
• 機械学習

背景:

• Neural Radiance Fields (NeRF) は,大規模なシーンのモデリングに希望を示しています.
• 現存する方法は,学習可能な分解,シーンの異質性,および効率性において課題に直面しています.
• NeRFのスケーラビリティは現実世界のアプリケーションに不可欠です.

研究 の 目的:

• Switch-NeRF++を導入し,大規模なシーンのスケーラブルなNeRFのための統一されたフレームワークを導入します.
• 学習可能な分解,シーンの異質性,モデリング効率の限界に対処する.
• 高品質で効率的な大規模なシーンのモデリングを実現する.

主な方法:

• ハッシュ専門家の異質混合 (HMoHE) ネットワークを開発しました.
• ハッシュベースのゲーティングネットワークを導入し シーンの分解とポイント配分を行いました
• 異なる解像度のハッシュグリッドを使用した異質なハッシュエキスパート.
• スパースリー・ゲーテッド・ミックス・オブ・エキスパート (MoE) フレームワークを通じて,ゲーティング・ネットワークとエキスパートの共同最適化.

主要な成果:

• 大規模なデータセットで最先端のシーンレンダリングの精度を達成しました.
• Switch-NeRFよりも8倍トレーニングと16倍レンダリングの加速が示されています.
• 6.5km2以上の新しいデータセットを含む様々な大規模なシーンに成功しました.
• 学習可能な異質分解と表現の有効性を検証した.

結論:

• Switch-NeRF++は,大規模なシーンのためのエンドツーエンド,高度にスケーラブルなNeRFソリューションを提供します.
• HMoHEの枠組みは,シーンの異質性を効果的にモデル化し,効率を向上させます.
• このアプローチは,既存の方法と比較して優れた品質と性能を達成します.