NiCI-Pruning: ノイズを用いたクリーン画像ガイダンスによる拡散モデルプルーニングの強化

科学分野:

• 人工知能
• 機械学習
• コンピュータビジョン

背景:

• 拡散確率モデルは高品質な画像生成を達成しますが、計算コストが高くなります。
• 既存のモデル圧縮技術（プルーニングなど）は、反復的な性質のため、拡散モデルにはあまり効果がありません。
• リソースが制約された拡散モデルの展開には、効率的な圧縮戦略が必要です。

研究 の 目的:

• 拡散モデルを圧縮するための効果的なプルーニング方法を開発すること。
• 反復拡散プロセスへのプルーニングの適用という課題に対処すること。
• リソースが制約された環境での拡散モデルの使用を可能にすること。

主な方法:

• NiCI-Pruning（Noise in Clean Image Pruning）を提案します。これは、再構成損失のためにクリーン画像から予測されたノイズを使用する手法です。
• 再構成損失内での効果的なパラメータ重要度評価のためにテイラー展開を採用します。
• 後続のタイムステップからのノイズを軽減するために、タイムステップ重み付けスキーマを使用した間隔サンプリング戦略を導入します。

主要な成果:

• NiCI-Pruningは、拡散モデルの圧縮において優れたパフォーマンスを示します。
• この手法は、最先端の方法と比較して、5つのデータセット全体でFIDスコアの増加を平均30.4%削減します。
• 実験結果は、提案されたNiCI-Pruningアプローチの有効性と優位性を検証しています。

結論:

• NiCI-Pruningは、拡散モデルを圧縮するための効果的なソリューションを提供し、リソースが制約されたシナリオに適したものにします。
• この新しいアプローチは、プルーニング技術を拡散モデルの反復的な性質に正常に適合させます。
• コードとモデルの利用可能性は、さらなる研究と応用を促進します。