MIIGAN: マンバは赤外線画像生成のための強力なGANを作ります

科学分野:

• コンピュータ・ビジョン
• 人工知能
• 赤外線画像技術

背景:

• 現場での赤外線画像の収集はコストが高く 環境の変動により複製が困難です
• これらの課題は赤外線画像技術の研究開発を妨げています

研究 の 目的:

• 現場でのデータ収集の限界に対処するために,新しい可視から赤外線画像生成モデル (MIIGAN) を提案する.
• 可視光画像からリアルな赤外線画像を生成する最先端の性能を達成する.

主な方法:

• MIIGANは,U-Netに基づいたGenerative Adversarial Network (GAN) アーキテクチャを使用し,発電品質を向上させるためにMambaブロックを組み込む.
• スペース・アンド・チャネル・アテンション・モジュール (SCAM) は,機能抽出を改善するためにU-Netスキップ接続に統合されています.
• トランスフォーマーとマンバを組み合わせたデュアルエンコーダーは,差異と製品学習モジュール (DPM) を使って,ディスクリミネーターの性能と機能抽出を強化します.
• 多層の特徴差と一貫性損失は,包括的なフィードバックのためのディスクリミネーターのオブジェクト機能に組み込まれています.

主要な成果:

• MIIGANは可視から赤外線までの画像生成において最先端の性能を達成しています.
• 4つのデータセットに関する広範な比較と消去研究は,モデルの有効性を検証しています.
• 生成された赤外線画像は,下流のオブジェクト検出タスクに有用性を示します.

結論:

• MIIGANは,従来のデータ収集方法の限界を克服し,高品質の赤外線画像を生成するための実行可能で効果的なソリューションを提供します.
• このモデルの性能は,赤外線技術における研究と応用を進めるための大きな可能性を提示しています.