深層学習の「臨界性」を解明する物理学：活性化関数が決定するニューラルネットワークの普遍性クラス Vol. 2025 • No. 1 Slideify Arxiv Research JPY 1.00 深層学習の「臨界性」 を解明する物理学 Arsham Ghavasieh • Indiana University, Bloomington Published: Dec 02, 2025 Insert Sidebar (Brief). 3. Detect "Theory" -> Insert SVG Diagram. 4. Detect "Results" -> Insert Chart. --> イントロダクション 現代のAI、特にChatGPTのような大規模言語モデル（LLM）の驚異的な能力は、数百、数千という膨大な層を重ねた「深さ」から生まれています。しかし、なぜこれほど深い構造が破綻せずに情報を処理できるのか、その根本的なメカニズムは依然として謎に包まれています。かつて、ニューラルネットワークは「魔法のブラックボックス」と呼ばれていましたが、今、物理学の視点からその内部構造を解き明かそうとする動きが加速しています。 本稿で紹介するArsham Ghavasieh氏の研究は、深層ニューラルネットワーク（DNN）における情報の伝播を、統計物理学における「非平衡臨界現象」として捉え直す画期的なものです。彼は、DNN内部で発生するアクティビティの「なだれ（Avalanche）」現象に注目し、それが活性化関数の設計一つで、全く異なる物理的特性を持つ「普遍性クラス」へと変貌することを明らかにしました。 ☞ In Brief Key Takeaways DNNの情報伝播は、減衰率r、励起項h、拡散定数D1, D2の4パラメータで記述される確率過程に集約される。 活性化関数のテイラー展開係数を調整することで、ネットワークをDPクラス（指向性パーコレーション）とRWクラス（ランダムウォーク）の間で切り替え可能である。 有限サイズのネットワークにおける揺らぎは、臨界点付近で増幅され、熱力学的極限とは異なる特異な挙動を示す。 歴史的背景 1980年代のホップフィールドネットワークに始まり、1990年代には「エッジ・オブ・カオス（カオスの縁）」という概念が登場しました。これは、システムが秩序状態（信号がすぐに消える）と無秩序状態（信号が発散する）の境界にあるとき、情報処理能力が最大化されるという理論です。2016年のSchoenholzらによる研究では、ReLUやtanhといった特定の活性化関数において、この臨界点付近での初期化が学習効率を劇的に向上させることが示されました。 しかし、これまでの理論の多くは「平均場理論（Mean-field theory）」に基づいており、ネットワークのサイズが無限大であることを前提としていました。現実のネットワークは有限であり、そこには必ず「揺らぎ」が存在します。Ghavasieh氏はこの点に着目し、中心極限定理（CLT）を用いて、有限サイズゆえのノイズを組み込んだ新しい「深層情報伝播（DIP）」の理論を構築しました。 * * * 理論の核心：4つのパラメータ Ghavasieh氏は、DNNの各層における情報の挙動を以下の確率微分方程式に集約しました。 $$ dq/d\ell = h + rq - aq^2 + \sqrt{2D_1 q + 2D_2 q^2} \xi(\ell) $$ ここで、$q$ は信号の分散（情報の強さ）、$\ell$ は層の深さを示します。この式を特徴付ける4つのパラメータが、DNNの運命を決定します。 $r$ (減衰率) : 信号が層を追うごとに強まるか弱まるかを決定します。 $h$ (励起項) : バイアスなどによって外部から注入されるノイズ。 $D_1, D_2$ (拡散定数) : 有限サイズネットワークにおける統計的な「揺らぎ」の強さ。 特筆すべきは、これらのパラメータがすべて 活性化関数のテイラー展開係数 から直接計算できるという点です。 Fig. A — The Universal Switch Mechanism Input $\xi$ Activation $\phi$ (Taylor Coeffs) DP Class Directed Percolation RW Class Random Walk 活性化関数のテイラー展開係数（ノブ）が、信号伝播の物理的性質を二つの普遍性クラス（DPまたはRW）へと分岐させる概念図。 活性化関数と物理的特性の対応 研究では、2つの特殊な活性化関数 $\Phi_{D1}$ と $\Phi_{D2}$ を設計し、その挙動を比較しています。 特性 $\Phi_{D1}$ (DPクラス) $\Phi_{D2}$ (RWクラス) 対応する物理モデル 指向性パーコレーション (DP) ランダムウォーク (RW) なだれサイズ指数 ($\tau_s$) 1.5 (3/2) 1.33 (4/3) なだれ持続時間指数 ($\tau_d$) 2.0 1.5 (3/2) スケーリング関係 ($\gamma$) 2.0 1.5 (3/2) 設計思想 一次の項 ($D_1$) が支配的 二次の項 ($D_2$) が支配的 データ・ハイライト シミュレーションでは、ニューロン数 $N=1000$ のネットワークにおいて、理論予測と一致する驚くべき結果が得られました。 べき乗則の確認 : なだれのサイズ $S$ と持続時間 $D$ の分布は、理論通りに美しいべき乗則に従いました。 普遍性クラスの切り替え : 活性化関数のテイラー係数をわずかに変化させるだけで、システム全体の臨界指数が DP から RW へと不連続に「ジャンプ」することが確認されました。 tanh関数の正体 : 従来よく使われてきた $tanh$ 関数は、この理論において RW クラスに近い挙動を示すことが判明しました。 Avalanche Size Distribution $P(S)$ Figure B: なだれサイズ分布の対数グラフ。$\Phi_{D1}$（青）は勾配 -1.5、$\Phi_{D2}$（赤）は勾配 -1.33 のべき乗則に従う。 § 未来の展望 この研究の真の価値は、AI設計を「勘と経験」から「理論的制御」へと引き上げる点にあります。 "ニューラルネットワークを単なる「行列計算の積み重ね」としてではなく、動的な「情報の流体」として理解する" 最適な学習率の自動設定 : 普遍性クラスを知ることで、ネットワークが情報を最も保持しやすい「スイートスポット」を数学的に特定できます。 新型活性化関数の開発 : 目的に応じて、信号を拡散させやすい（RW的）あるいは局所化させやすい（DP的な）活性化関数を設計可能です。 結論 Arsham Ghavasieh氏は、物理学の道具箱にある「相転移」や「臨界指数」という強力な武器を使い、DNNという複雑なシステムの地図を描き出しました。活性化関数という一つの部品が、数億のパラメータを持つネットワーク全体の「物理的人格」を決定するという事実は、非常に示唆に富んでいます。 References Beggs, J. M., & Plenz, D. (2003). Neuronal avalanches in neocortical circuits. Schoenholz, S. S., et al. (2016). Deep Information Propagation. Ghavasieh, A., et al. (2025). Criticality in Deep Neural Networks (Related work). Di Santo, S., et al. (2017). Landau Theory of Directed Percolation. Hopfield, J. J. (1982). Neural networks and physical systems with emergent collective computational abilities. © 2025 Slideify.app • Generated by Slideify Arxiv