構造化データ間の識別：一般化線形モデルの経験的リスクに対するランドスケープの複雑さ

科学分野:

• 統計物理学
• 機械学習理論
• ランダム行列理論

背景:

• 現代の機械学習システムは、複雑な現実世界の構造を反映した、固有の相関を持つ高次元データをしばしば利用する。
• 損失ランドスケープの理解は、モデルトレーニングダイナミクスと汎化能力の解析に不可欠である。

研究 の 目的:

• 相関ガウスデータを持つ高次元経験的損失関数における臨界点の平均数を決定すること。
• 損失ランドスケープの構造への洞察を提供するアニーリングされたランドスケープの複雑さを特徴付けること。

主な方法:

• カック・ライス公式の適用。
• ランダム行列理論の結果の活用。
• 技術的な仮説の下での大次元極限（大d）における解析。

主要な成果:

• 相関ガウスベクトルに対するアニーリングされたランドスケープの複雑さの正確な特徴付け。
• 単一パーセプトロンの損失ランドスケープの詳細な解析。
• 識別タスクのための2データセットパーセプトロンモデルへの一般化。
• 相関データを持つ一般化線形モデルの損失関数への拡張。

結論:

• 本研究は、構造化データを持つ機械学習における損失ランドスケープの複雑さを理解するための理論的枠組みを提供する。
• 結果は、データ構造、モデルアーキテクチャ、トレーニングダイナミクスの間の相互作用に関する洞察を提供する。
• 発見は、敵対的シナリオの理解とモデル汎化の改善に適用可能である。