深層ニューラルネットワークにおけるカテゴリー学習：内部表現の情報量と幾何学的構造

科学分野:

• 計算論的神経科学
• 機械学習
• 情報理論

背景:

• カテゴリー的知覚は、カテゴリー内圧縮とカテゴリー間分離を特徴とし、人間と人工ニューラルネットワークの両方で観察される。
• 先行研究では、この現象が理論的枠組みにおける効率的な学習の必然的な結果として実証されている。
• この効率的な学習は、重要なカテゴリー境界におけるノイズの影響を低減する。

研究 の 目的:

• 人工フィードフォワードネットワークにおける効率的な学習とカテゴリー的知覚の理論的枠組みを拡張すること。
• ベイジアンコストの最小化がニューラルネットワークにおける相互情報量の最大化とどのように関連するかを調査すること。
• 構造化データとネットワーク幅が最適な表現の達成に果たす役割を分析すること。

主な方法:

• ベイジアンコストをクロスエントロピー損失として考慮し、人工フィードフォワードネットワークに情報理論的アプローチを適用した。
• ベイジアンコストの最小化がカテゴリーとニューラル活動間の相互情報量の最大化と同等であることを示した。
• 構造化データを持つワイドネットワークを分析し、相互情報量の最大化を最適な射影空間とフィッシャー情報量に基づくニューラル表現の発見に関連付けた。

主要な成果:

• フィードフォワードネットワークにおけるベイジアンコストの最小化は、カテゴリーとニューラル活動間の相互情報量の最大化を意味する。
• ワイドネットワークにおける最適な学習は、カテゴリー固有のフィッシャー情報量に一致するフィッシャー情報量に基づくメトリックを持つニューラル表現につながる。
• カテゴリー学習は、決定境界付近のニューラル空間の拡大を誘発し、これはカテゴリー的知覚の重要な相関因子であり、フィッシャー情報量の最大値はクラス境界付近にあるが、正確に一致するわけではない。

結論:

• 本研究は、人工フィードフォワードネットワークにおける効率的な学習の結果としてのカテゴリー的知覚を説明する理論的枠組みを提供する。
• 最適な学習は相互情報量の最大化を伴い、カテゴリー境界での弁別を強化する表現につながる。
• 本研究結果は、人工ニューラルネットワークがカテゴリー的知覚の重要なニューラル相関因子を示すことを実証し、これはトイモデルとMNISTデータセットで検証された。