赤外線・可視画像融合のためのVLM誘導型劣化連動型ネットワーク

科学分野:

• コンピュータビジョン
• 人工知能
• 画像処理

背景:

• 既存の赤外線・可視画像融合 (IVIF) 手法は、多くの場合、劣化入力に対して失敗し、手動での前処理調整が必要となります。
• 現在のIVIF技術における劣化処理と融合処理の分離は、大幅なパフォーマンス低下につながります。

研究 の 目的:

• 画像融合プロセスに劣化モデリングを直接統合する新しいネットワーク、VGDCFusionを提案すること。
• Vision-Language Models (VLMs) を活用して、劣化認識と誘導型特徴抑制をIVIFで強化すること。

主な方法:

• モダリティ固有の劣化認識と共同特徴抽出/抑制のための、Specific-Prompt Degradation-Coupled Extractor (SPDCE) を開発しました。
• クロスモーダル劣化認識と劣化フィルタリングを統合した特徴抽出のための、Joint-Prompt Degradation-Coupled Fusion (JPDCF) を導入しました。
• VLMsを使用して融合プロセスを誘導し、劣化認識と抑制を可能にしました。

主要な成果:

• VGDCFusionは、劣化型赤外線・可視画像の融合において顕著な優位性を示しました。
• 既存の最先端手法と比較して、定性的な視覚品質と定量的な指標（例：AGで約15%、SFで約14.75%）において大幅な改善を達成しました。
• 提案手法は、融合タスクと連動させることで、画像劣化を効果的に処理します。

結論:

• 提案されたVGDCFusionネットワークは、劣化モデリングと融合を緊密に連動させることで、劣化画像融合のための堅牢なソリューションを提供します。
• VLMsを活用することで、ネットワークの劣化認識と抑制能力が向上し、優れた融合パフォーマンスにつながります。
• この手法は、特に困難な劣化入力シナリオにおいて、IVIFにおける重要な進歩を表します。