バイナリニューラルネットワークのための進化マルチオブジェクティブニューラルアーキテクチャ検索（2段階最適化）

科学分野:

• コンピュータサイエンス
• 人工知能
• 機械学習

背景:

• バイナリニューラルネットワーク（BNN）は、リソースが限られた環境向けの極端なモデル圧縮を提供します。
• 特殊化された二値化演算により、効率的なBNNアーキテクチャの設計は困難です。
• ニューラルアーキテクチャ検索（NAS）は、高性能BNN設計のための実行可能なソリューションを提示します。

研究 の 目的:

• BNN用のマルチオブジェクティブ進化的NASアルゴリズム（MO-TS-BNAS）を提案します。
• さまざまなパラメータサイズとパフォーマンスレベルを持つネットワークの必要性に対処します。
• モデルサイズとエラーのバランスをとるBNNアーキテクチャ設計を最適化します。

主な方法:

• BNNトレーニングにおける勾配近似のためにApproxSign関数を利用しました。
• 小さなモデルの罠を軽減するために、非支配ソートに補助目的を導入しました。
• パスドロップアウトと改良されたミニバッチ勾配降下法を用いた2段階トレーニング戦略を実装しました。
• 比較分析のために、フルプレシジョンベースライン検索スペースを二値化しました。

主要な成果:

• MO-TS-BNASアルゴリズムは、モデルサイズとエラーの目的をうまくバランスさせます。
• CIFAR10およびImageNetデータセットでの実験的検証により、手法の有効性が実証されました。
• 提案されたアプローチは、多様なパフォーマンス要件に対応するためにBNNアーキテクチャを最適化します。

結論:

• MO-TS-BNASは、高性能BNNアーキテクチャを設計するための効果的な方法です。
• このアルゴリズムは、モデルサイズと精度のトレードオフを含む、BNNアーキテクチャ検索における主要な課題に対処します。
• この研究は、モバイルおよびリソースに制約のある設定におけるBNNのアプリケーションを進歩させます。