不都合な条件下での3Dオブジェクトの強固なマルチモダル検出のための統一補助復元ネットワーク

科学分野:

• コンピュータ・ビジョン
• 自動運転システム
• センサー融合

背景:

• LiDARとカメラセンサーを用いた 3D オブジェクト検出は有望ですが 現実世界でのバリエーションでは困難です
• 既存の融合方法は,不利な条件 (例えば,稀な点雲,悪天候) で著しく劣化します.

研究 の 目的:

• 困難な環境下での3Dオブジェクトの強力なマルチモダルの検出のための新しいアプローチを開発する.
• 劣化したセンサデータの機能品質を向上させるための補助復元ネットワークを導入する.

主な方法:

• マルチモダルの3Dオブジェクト検出における補助復元ネットワークの最初のアプリケーションを提案しました.
• 球形のドメインポイントアップサンプラーと水平調整の調整ネットワークを開発した.
• 効率的な融合のために,統一された損失機能 (補助的,対照的,難易度損失) を備えたグラフ検出器を導入した.

主要な成果:

• 提案された方法は,不利な条件下での性能の低下を効果的に防止します.
• 挑戦的なシナリオで最先端の方法と比較して優れたパフォーマンスを示した.
• ポイントクラウドと画像データを統一的に復元することで,より高品質な機能を達成します.

結論:

• 補助復元ネットワークは,マルチモダルの3Dオブジェクト検出の頑丈さを高めるための実行可能なソリューションを提供します.
• 新しいアップサンプラー,調整ネットワーク,グラフ検出器は,不利な条件下での性能の向上に貢献します.
• このアプローチは信頼性の高い 自動運転感知システムに 重要な進歩をもたらします