CAFusion：コンテキスト認識型赤外線・可視画像融合のための段階的ConvMixerネットワーク

科学分野:

• コンピュータビジョン
• 人工知能
• 画像処理

背景:

• 画像融合のための深層学習（DL）は、しばしば複雑なモデルを伴い、高い計算コストと情報損失につながります。
• 既存の方法では、マルチスケールコンテキスト情報を効率的に捉えるのに苦労する場合があります。

研究 の 目的:

• CAFusion、すなわち可視（VI）および赤外線（IR）画像融合のための新しいDLフレームワークを導入すること。
• 既存の方法と比較して、融合品質と計算効率を向上させること。

主な方法:

• 拡張畳み込みと深度方向分離可能畳み込みを統合したコンテキスト認識型ConvMixerブロックを開発しました。
• 注意機構ベースのモダリティ間マルチレベル段階的融合戦略を実装しました。
• 画像再構成のために階層的マルチスケールデコーダを使用しました。

主要な成果:

• CAFusionは、最先端のDLおよびトランスフォーマーベースのアプローチを上回る優れたパフォーマンスを示しました。
• TNOデータセットで0.769のSSIMスコアを達成し、最高の競合他社を2.07%上回りました。
• 融合品質と計算効率の向上が実証されました。

結論:

• CAFusionは、VIおよびIR画像を高品質かつ効率的に融合します。
• 提案されたコンテキスト認識型ConvMixerブロックと融合戦略は、フレームワークの成功の鍵となります。
• CAFusionは、高度な画像融合タスクに有望な代替手段を提供します。