効率的なアテンションとフレッシェ距離による微分可能な敵対的生成ネットワークアーキテクチャ検索

科学分野:

• 人工知能
• コンピュータビジョン

背景:

• 敵対的生成ネットワーク（GAN）アーキテクチャ検索は、高性能ネットワークの設計を自動化します。
• DAMGANのような既存の微分可能な検索手法は、非効率的なSENetモジュールとアテンショントレーニングのための敵対的損失により、検索効率とアーキテクチャ品質に影響を与える限界に直面しています。

研究 の 目的:

• EAMGAN、強化された微分可能なGANアーキテクチャ検索手法を提案すること。
• 効率的なアテンションとフレッシェ・インセプション・ディスタンス（FID）ガイダンスを組み込むことにより、検索効率とアーキテクチャ品質を向上させること。

主な方法:

• EAMGANを導入し、軽量なECA-Netアテンションモジュールを利用して、SENetの非効率的なコンポーネントを1D畳み込みで置き換え、パラメータを削減しました。
• アテンショントレーニングを敵対的最適化から分離し、アーキテクチャ選択を直接ガイドするために、カスタマイズされたFIDベースの損失関数を採用しました。
• CIFAR-10およびSTL-10データセットでパフォーマンスを評価しました。

主要な成果:

• EAMGANは、CIFAR-10でDAMGANを上回り、Inception Score（IS）を向上させ、FIDを低下させました。
• 検索コストの削減（DAMGANの0.09 GPU日に対して0.08 GPU日）で、優れた結果を達成しました。
• STL-10データセットで競争力のあるパフォーマンスと転移性を示しました。

結論:

• EAMGANは、GANアーキテクチャ検索に対して、より効率的で効果的なアプローチを提供します。
• 提案手法は、画像生成品質を向上させ、計算オーバーヘッドを削減します。
• EAMGANは、生成モデリングにおけるより広範なアプリケーションの可能性を示しています。