V-D-Tサル意図検出のためのデュアルブランチマルチモーダルディープフュージョンネットワーク、DMDNet

科学分野:

• コンピュータービジョン;人工知能;機械学習

背景:

• マルチモーダル特徴（可視、深度、熱）を早期エンコーディングステージで直接融合するとノイズが発生し、サル意図検出の精度が低下します。既存の方法では、異なるセンサーモダリティからの相補的な情報を効果的に統合するのに苦労することがよくあります。

研究 の 目的:

• 改善されたサル意図検出のための新しいデュアルブランチマルチモーダルディープフュージョンネットワーク（DMDNet）を提案します。デコーダーフェーズでフュージョンを実行することにより、早期の特徴フュージョンにおけるノイズ増幅の課題に対処します。

主な方法:

• DMDNetは、可視画像用の別個のエンコーダーブランチと、深度画像と熱画像用の結合ブランチを使用します。ネットワークは、深度と熱の相補性のためのモーダル相互作用（MI）モジュール、マルチスケール特徴認識（MFP）、および領域最適化（RO）モジュールを組み込んでいます。デュアルブランチフュージョン（DF）モジュールは、最終的なサルマップ生成のためにボトムアップで特徴を統合します。

主要な成果:

• DMDNetはVDT-2048データセットで優れたパフォーマンスを示します。実験結果は、提案されたネットワークアーキテクチャとフュージョン戦略の有効性を検証します。

結論:

• 提案されたDMDNetは、デコーダーフェーズへのマルチモーダルフュージョンの遅延により、ノイズを効果的に低減します。ネットワークアーキテクチャは、可視、深度、熱モダリティからの相補的な特徴を効果的に活用し、サル意図検出を強化します。