クロスモーダル事前融合アライメントによる普遍的マルチスペクトル歩行者検出のための暗黙的照明認識表現

科学分野:

• コンピュータビジョン
• 機械学習
• 人工知能

背景:

• 従来の赤緑青（RGB）画像を使用した歩行者検出は、悪条件下での照明に限界があり、セキュリティや自動運転などの重要なアプリケーションを妨げます。
• サーマルイメージングを組み込んだマルチスペクトル歩行者検出は、外部光源に依存しない検出を可能にすることで解決策を提供します。
• RGBおよびサーマルデータの効果的な融合戦略は、未踏の領域であり、クロスモーダル相互作用と特徴融合における課題となっています。

研究 の 目的:

• 堅牢な全日型検出を可能にする高度なマルチスペクトル歩行者検出方法を開発すること。
• 照明認識の不足やモダリティ間の空間的なずれなど、既存の方法の限界に対処すること。
• クロスモーダル相互作用と特徴融合を強化する新しい融合パラダイムを提案すること。

主な方法:

• データセットにおける照明固有ラベルの不足を克服するために、暗黙的照明認識表現を提案しました。
• RGBおよびサーマル画像間の空間的なずれを修正するために、事前融合特徴アライメント戦略を導入しました。
• モダリティアライメントモジュール（MAM）、差分モダリティ融合モジュール（DMFM）、タスク条件付き照明モジュール（TCIM）で構成される普遍的マルチスペクトル歩行者検出パラダイム（UMPDP）を開発しました。

主要な成果:

• UMPDPは、ベンチマークデータセット（KAISTおよびCVC-14）全体でマルチスペクトル歩行者検出の大幅な改善を示しました。
• 提案されたモジュールは、照明変動とクロスモーダル特徴融合に関連する課題を効果的に解決しました。
• この方法は、既存のマルチスペクトル歩行者検出器と比較して優れたパフォーマンスを達成しました。

結論:

• 開発された普遍的マルチスペクトル歩行者検出パラダイム（UMPDP）は、全日型歩行者検出のための堅牢で効果的なソリューションを提供します。
• 提案された融合戦略と照明認識モジュールは、マルチスペクトル歩行者検出システムのパフォーマンスを大幅に向上させます。
• この研究は、特に困難な環境条件下でのマルチスペクトル物体検出の将来の研究に強力な基盤を提供します。