マルチモダル画像融合のためのインタラクティブな空間周波数融合マンバ

科学分野:

• コンピュータビジョン コンピュータビジョン
• 画像処理 画像処理
• 人工知能 (AI) とは,人工知能 (AI) のことです.

背景:

• マルチモダル画像融合 (MMIF) は,さまざまなソースからの画像を組み合わせて,詳細と情報を保存します.
• 既存の方法は,インタラクティブの強化なしに基本的な空間周波数融合を使用することが多い.
• 周波数領域の情報を組み込むことで,MMIFにおける空間特性の表現を改善することができます.

研究 の 目的:

• 先進的なMMIFのための新しいインタラクティブ空間周波数融合マンバ (ISFM) フレームワークを提案する.
• 空間と周波数領域の情報をインタラクティブに統合することにより,特徴の抽出と融合を強化する.
• 新しい融合戦略を通じてMMIFシステムのパフォーマンスを向上させる.

主な方法:

• 効率的で長距離の特徴抽出のためのモダリティ・スペシフィック抽出器 (MSE) を開発しました.
• 導入された多スケール周波数融合 (MFF) は,周波数コンポーネントの適応的統合を目的としています.
• 空間特性を周波数情報で導くためにインタラクティブ空間周波数融合 (ISF) モジュールを提案しました.

主要な成果:

• ISFMのフレームワークは,6つのMMIFのデータセットで優れたパフォーマンスを示しました.
• 実験結果は,提案されたインタラクティブ・フュージョンアプローチの有効性を確認した.
• ISFMは,現在の最先端MMIFの方法と比較して,より良い結果を達成しました.

結論:

• 提案されたISFMフレームワークは,マルチモデルの画像融合における重要な進歩を提供します.
• 空間情報と周波数情報をインタラクティブに統合することは,核融合性能の向上に不可欠です.
• ISFMは,マルチモデルの画像データを組み合わせるための堅牢で効果的なソリューションを提供します.