20260617:目前有914 页

concepts/linearized-neural-network.md

@@ -0,0 +1,64 @@
+---
+title: "线性化神经网络 (Linearized Neural Network)"
+created: 2026-06-17
+updated: 2026-06-17
+type: concept
+tags: [deep-learning, theory, neural-networks, ntk]
+sources: [raw/papers/tiwari-ticks-to-flows-2026.md]
+confidence: high
+---
+
+# 线性化神经网络 (Linearized Neural Network)
+
+线性化 NN 是将神经网络在**初始参数附近进行一阶 Taylor 展开**的理论工具，是 [[infinite-width-limit|无限宽度理论]] 的核心技术。
+
+## 形式
+
+对于两层的 actor 网络 `F(s; W)`，在初始化 `W^0` 附近线性化：
+
+```
+F_lin(s; W) = F(s; W^0) + Φ(s; W^0)(W - W^0)
+```
+
+其中 `Φ(s; W^0)` 是 Jacobian（tangent features），包含每个隐藏神经元的衍生特征：
+
+```
+Φ_κ(s; W^0) = C_κ^0 φ'(W_κ^0 · s) s^T
+```
+
+## 关键性质
+
+1. **W 线性**：输出是参数 W 的线性函数（但非输入 s 的线性函数）
+2. **特征固定**：tangent features Φ 在训练中不变化 → **lazy regime**
+3. **高斯输出**：在大宽度下，输出近似服从高斯分布（by CLT）
+4. **梯度简便**：梯度更新公式大幅简化
+
+## 为什么用线性化
+
+在 [[ticks-to-flows|Ticks-to-Flows]] 的证明中，线性化使得：
+
+- 状态 `s̃_{t,τ}` 可以表示为参数 `W^τ - W^0` 的**多项式**（通过 [[ito-calculus|Itô-Taylor 展开]]）
+- 梯度更新公式（Equation 5）在参数空间中闭合
+- [[martingale-clt|鞅 CLT]] 可应用于条件高斯极限的推导
+
+## 与 NTK 的关系
+
+在大宽度下，线性化模型的 kernel 趋近于 [[neural-tangent-kernel|Neural Tangent Kernel (NTK)]]：
+
+```
+K(s, s') = E[Φ(s; W^0) · Φ(s'; W^0)]
+```
+
+NTK 描述了参数梯度之间的点积，决定了训练的动力学。
+
+## 局限性
+
+- Lazy training：特征不演化，限制了表征学习
+- 需要 `η = O(1/sqrt(n))` 的小学习率
+- 实际应用中不完全成立（特征学习是深度学习的关键优势）
+
+## 参考
+
+- [[neural-tangent-kernel|NTK]]
+- [[infinite-width-limit|无限宽度极限]]
+- [[ticks-to-flows|Ticks to Flows]]