モダリティアラインメントと24時間リモートセンシングオブジェクト検出のための融合ベースの方法

科学分野:

• リモートセンシング
• コンピュータ・ビジョン
• 人工知能

背景:

• クロスモダルの遠隔センサーのオブジェクト検出は,モダリティの違いと悪天候での特徴の劣化により課題に直面しています.
• 既存の方法では 24時間検知が困難で 監視と偵察の応用が限られています

研究 の 目的:

• クロスモダルの遠隔検知用オブジェクト検出のための新しい枠組みを開発する.
• 可視光,赤外線,合成開口レーダー (SAR) データにおけるモダリティの格差と特徴の劣化の問題に対処する.
• 24時間監視,軍事偵察,緊急対応のためのパフォーマンスを向上させる.

主な方法:

• 詳細と文脈をキャプチャするために,階層的なコンボリューションアーキテクチャを使用するマルチスケール機能抽出モジュール.
• 革新的な機能のインタラクションモジュールで,長距離依存と適応的なノイズ抑制にクロス注意があります.
• 空間的アライメントとモダリティ全体的な機能の一貫性のための機能補正融合モジュール.

主要な成果:

• このフレームワークは,挑戦的なデータセットで最先端の平均精度 (mAP) スコアを達成しました: 66.3% (LLVIP),58.6% (OGSOD),71.7% (Drone Vehicle).
• 既存の方法と比較して,特にモダリティの違いや極端な天候条件のシナリオにおいて,著しい改善が示されています.
• 可視光,赤外線,SARモードでの有効性を検証した.

結論:

• 提案された枠組みは,困難な条件下でクロスモダルのオブジェクト検出のための堅固なソリューションを提供します.
• クリティカルな 24/7 のアプリケーションのための遠隔センサーオブジェクト検出の技術的境界を前進させる.
• 24時間監視と偵察を必要とするミッションクリティカルなオペレーションのための実用的な価値を提供します.