20260617:目前有914 页

concepts/neural-tangent-kernel.md

@@ -0,0 +1,57 @@
+---
+title: "神经正切核 (Neural Tangent Kernel)"
+created: 2026-06-17
+updated: 2026-06-17
+type: concept
+tags: [deep-learning, theory, kernel-methods, neural-networks]
+sources: [raw/papers/tiwari-ticks-to-flows-2026.md]
+confidence: high
+---
+
+# 神经正切核 (Neural Tangent Kernel)
+
+NTK（Jacot et al., 2018）描述了**无限宽神经网络在梯度下降训练中参数空间的局部几何**——本质上是 NN 参数梯度的点积在宽度→∞ 时的极限。
+
+## 定义
+
+对于参数化函数 `f_θ(x)`，NTK 定义为：
+
+```
+K(x, x') = ∇_θ f_θ(x) · ∇_θ f_θ(x')
+```
+
+在无限宽极限下，这个核在训练过程中**保持恒定**，使得 NN 训练等价于一个 kernel method。
+
+## 在 Ticks-to-Flows 中的作用
+
+[[ticks-to-flows|Tiwari et al. (2026)]] 的证明大量使用了 NTK 的结构性质：
+
+1. **高斯极限**：`F_lin(s; W)` 的输出在宽极限下是高斯过程，核函数由 NTK 给出
+2. **梯度更新简化**：使用 NTK，actor 和 critic 的梯度更新公式可表达为核的积分
+3. **状态-动作耦合**：状态变化 `Δs_{t,τ}` 中的 `C_{u,l,τ}` 项本质上是 NTK 的时间积分
+
+```
+C_{u,l,τ} = E[C^2 φ'(s̃_l W) φ'(s̃_u W)]
+```
+
+## 与线性化 NN 的关系
+
+[[linearized-neural-network|线性化 NN]] 的 tangent features `Φ(s)` 满足：
+
+```
+K(s, s') ≈ Φ(s) · Φ(s') / n
+```
+
+在线性化模型中，这个 Kernel 决定梯度场的几何——所有训练动态都在这一个固定的核空间中展开。
+
+## 关键限制
+
+- **Lazy training**：核不随训练演化 → 无特征学习
+- **宽度依赖**：实际 NN 的核随训练变化（"feature learning"）
+- **计算代价**：精确 NTK 在大数据集上不可行
+
+## 参考
+
+- [[linearized-neural-network|线性化 NN]]
+- [[infinite-width-limit|无限宽度极限]]
+- [[ticks-to-flows|Ticks to Flows]]