MLP-MFF:超効率的なエンドツーエンドマルチフォーカス画像融合のための軽量ピラミッド融合MLP

科学分野:

• コンピュータ・ビジョン
• 画像処理
• 深層学習

背景:

• 光学画像の限られた深さは,部分的に焦点を合わせた画像につながります.
• 多焦点画像融合 (MFF) は,複数の焦点平面から全焦点画像を合成します.
• 既存のディープラーニングのMFFの方法は,長距離依存や高い計算コストに苦しんでいます.

研究 の 目的:

• 新しい,軽量な,端から端までのMFFネットワークを提案する.
• MFFにおけるCNN,トランスフォーマー,マンバの限界を克服する.
• 核融合の性能を向上させ,真のグローバルな受容場を実現する.

主な方法:

• ピラミッド・フュージョン・マルチレイヤー・パーセプトン (PFMLP) のアーキテクチャに基づいて開発されたMLP-MFF.
• ハイブリッド・アテンション (DAMFFM-HA) ベースのダブル・パス・アダプティブ・マルチスケール・フィーチャー・フュージョン・モジュールを導入した.
• 柔軟な入力スケールを処理し,複数のスケールの機能表現を学習するように設計されています.

主要な成果:

• MLP-MFFは最先端の方法と比較して競争力があり,しばしば優れた融合品質を達成します.
• 長期間の依存関係と多層面の特徴を効果的に捉えた.
• 軽量で効率的なアーキテクチャを維持しました

結論:

• MLP-MFFは,マルチフォーカス画像融合のための効果的なソリューションを提供します.
• 提案されたアーキテクチャと融合モジュールは,MFFのパフォーマンスを大幅に改善します.
• この方法は,すべて焦点の画像を合成するための軽量で強力なアプローチを提供します.