トレース形式エントロピーを用いたミラー降下法および指数勾配アルゴリズム

科学分野:

• 最適化理論
• 情報幾何学
• 機械学習

背景:

• ミラー降下法（MD）および一般化指数勾配法（GEG）は基本的な最適化アルゴリズムです。
• 古典的な手法は、勾配消失/爆発や非ユークリッド幾何学にしばしば苦労します。
• 一般化エントロピーは、ダイバージェンスと計量を定義するための柔軟なフレームワークを提供します。

研究 の 目的:

• 一般化トレース形式エントロピーに基づくMDおよびGEGアルゴリズムの統一的フレームワークを導入すること。
• これらの新しいアルゴリズムの収束性とロバスト性の特性を向上させることを実証すること。
• これらの手法と自然勾配降下法を結びつける情報幾何学的な根拠を明らかにすること。

主な方法:

• トレース形式エントロピーから変形対数関数を介してMDおよびGEGアルゴリズムを導出すること。
• 収束挙動と勾配ロバスト性の解析。
• アマリの自然勾配および情報幾何学的構造との関連性の調査。
• リーマン計量を定義するために特定の（ツァリス、カニアダキスなど）エントロピーファミリーへの適用。

主要な成果:

• 収束性とロバスト性が向上した広範なMDおよびGEGアルゴリズムの開発。
• 様々な勾配更新規則（加法的、乗法的、自然）の統一的な幾何学的基盤の確立。
• 異なるエントロピーが統計的幾何学を保持する異なるリーマン計量を誘導することの実証。
• 調整可能なパラメータにより、最適化向上のための適応的な幾何学的選択が可能になります。

結論:

• 提案されたフレームワークは、一般化ブレグマンダイバージェンスの下で一階最適化手法を統一します。
• エントロピーの選択は、基盤となるリーマン計量と双対幾何学的構造を決定します。
• これらの一般化手法は、古典的なユークリッド最適化と比較して、適応性とロバスト性が向上しています。