悪条件下におけるLiDAR-カメラ融合知覚を強化する適応型クロスモーダルデノイジング

科学分野:

• ロボティクスと人工知能
• センサーフュージョンと知覚
• コンピュータビジョン

背景:

• 自動運転車（AV）は、環境知覚のためにLiDARおよびカメラセンサーに依存しています。
• 雨、雪、霧などの悪天候条件は、センサーのパフォーマンスを低下させ、ノイズを導入し、信頼性を低下させます。
• 現在のデノイジング方法は、単一のセンサータイプに焦点を当てることが多く、相補的なマルチモーダルデータを活用できていません。

研究 の 目的:

• 悪天候下でのマルチモーダルセンサーデータの高度なデノイジングフレームワークを開発すること。
• 困難な環境条件下での自動運転車の信頼性と安全性を向上させること。
• 知覚を強化するためにLiDARデータとカメラデータの相乗関係を活用すること。

主な方法:

• 新しい適応型クロスモーダルデノイジング（ACMD）フレームワークを提案しました。
• ノイズ評価とクロスモーダルガイダンスのために、モダリティ固有の自己デノイジングエンコーダーと適応型ブリッジコントローラー（ABC）を利用しました。
• ノイズの多いセンサーデータのセマンティックな洗練のために、クロスモーダルデノイジング（CMD）モジュールを組み込みました。

主要な成果:

• ACMDは、PSNRで28.2％、CDで33.3％上回り、単一モダリティのデノイジング方法（Restormer、PathNet、BM3D、PointCleanNet）を大幅に上回りました。
• ACMDは、最先端の融合モデルと比較してJDEで16.2％の改善を達成しました。
• 実験的検証は、合成ノイズを追加したWeatherKITTIデータセットで実施されました。

結論:

• ACMDフレームワークは、悪天候下でのマルチモーダルセンサーノイズを効果的に処理します。
• センサーデータの品質向上は、AVの信頼性と運用上の安全性に直接貢献します。
• このアプローチは、多様な環境条件におけるより堅牢な自動運転システムへの道を開きます。