DMPFDet: 多スペクトル可視・赤外線融合検出のためのエンドツーエンド変形相互促進学習ネットワーク

科学分野:

• コンピュータビジョン
• 人工知能
• センサーフュージョン

背景:

• マルチモーダル画像融合と物体検出は、自動運転に不可欠です。
• 現在の融合方法は、下流タスクのパフォーマンスよりも視覚的な魅力が優先されることがよくあります。
• 既存の検出方法は、モダリティ固有の情報とクロスモーダル情報を十分に活用するのに苦労しています。

研究 の 目的:

• マルチスペクトル可視・赤外線融合検出のためのエンドツーエンド変形相互促進学習ネットワークであるDMPFDetを提案すること。
• 統一されたトレーニングパイプライン内で高品質な融合と正確な検出を達成すること。
• 融合モジュールと検出モジュールの間の相互ガイダンスを可能にすることで、既存の融合および検出方法の制限に対処すること。

主な方法:

• RT-DETRに基づいたマルチモーダル変形検出トランスフォーマー（MDDT）モジュールを特徴抽出のために導入しました。
• 詳細なローカルおよびグローバル情報をキャプチャするために、クロスモーダルアテンションフュージョン（CMAF）モジュールを開発しました。
• 共同最適化のために、融合モジュールと検出モジュールの間の相互ガイダンスメカニズムを実装しました。

主要な成果:

• DMPFDetは、複数のデータセットで最先端の方法と比較して優れたパフォーマンスを示しました。
• この方法は、物体検出タスクに特に適した効果的な融合結果を達成しました。
• 複雑な環境での検出精度と堅牢性の顕著な向上が観察されました。

結論:

• DMPFDetは、高品質のマルチスペクトル融合と正確な物体検出のための統一されたアプローチを提供します。
• 提案された相互促進学習は、融合機能と検出機能の両方を強化します。
• この方法は、自動運転の知覚システムを進歩させる強力な可能性を示しています。