大規模3Dシーン理解のためのジオメトリ認識マルチモーダル融合

科学分野:

• コンピュータビジョン
• ロボティクス
• 地理空間データ分析

背景:

• マルチモーダル3Dセマンティックセグメンテーションは工学にとって不可欠ですが、複雑なジオメトリ、スケールの変動、およびLiDARデータの疎性によって課題が生じています。
• 既存の手法は、実世界のシーンの複雑さとデータの疎性に対処するのに苦労しており、自律システムおよび3D視覚化におけるアプリケーションを制限しています。

研究 の 目的:

• LiDARベースのセマンティックセグメンテーションにおける課題に対処する、堅牢で効率的なマルチモーダル3D理解手法を開発すること。
• LiDARと画像データを融合することにより、疎な3D領域におけるセマンティック弁別を強化すること。

主な方法:

• 空間構造のための位置ベースエンコーディングを備えたデュアルパス3D特徴抽出器。
• 学習可能なカーネルとハイブリッド重み付けを使用したジオメトリ認識適応型集約モジュール。
• LiDAR点群と受動的光画像特徴の融合。

主要な成果:

• 軽量フレームワーク（520万パラメータ）でリアルタイム推論（25ms/サンプル）を達成しました。
• Semantic3D、SemanticKITTI（71.2% mIoU）、nuScenesで競争力のあるパフォーマンスを示し、SemanticKITTIでRandLA-Netを15.3%上回りました。
• 屋外環境のセマンティック構造化のための実世界のカラー点群で有効性を検証しました。

結論:

• 提案された適応型ジオメトリ融合手法は、堅牢で効率的なマルチモーダル3D理解を提供します。
• 軽量でリアルタイムの機能により、リソースに制約のあるセンシングおよび視覚化プラットフォームでの展開が可能になります。
• 3Dディスプレイなどの下流アプリケーションのために、セマンティックに構造化された3D表現を正常に提供します。