---
title: "神经正切核 (Neural Tangent Kernel)"
created: 2026-06-17
updated: 2026-06-17
type: concept
tags: [deep-learning, theory, kernel-methods, neural-networks]
sources: [raw/papers/tiwari-ticks-to-flows-2026.md]
confidence: high
---

# 神经正切核 (Neural Tangent Kernel)

NTK（Jacot et al., 2018）描述了**无限宽神经网络在梯度下降训练中参数空间的局部几何**——本质上是 NN 参数梯度的点积在宽度→∞ 时的极限。

## 定义

对于参数化函数 `f_θ(x)`，NTK 定义为：

```
K(x, x') = ∇_θ f_θ(x) · ∇_θ f_θ(x')
```

在无限宽极限下，这个核在训练过程中**保持恒定**，使得 NN 训练等价于一个 kernel method。

## 在 Ticks-to-Flows 中的作用

[[ticks-to-flows|Tiwari et al. (2026)]] 的证明大量使用了 NTK 的结构性质：

1. **高斯极限**：`F_lin(s; W)` 的输出在宽极限下是高斯过程，核函数由 NTK 给出
2. **梯度更新简化**：使用 NTK，actor 和 critic 的梯度更新公式可表达为核的积分
3. **状态-动作耦合**：状态变化 `Δs_{t,τ}` 中的 `C_{u,l,τ}` 项本质上是 NTK 的时间积分

```
C_{u,l,τ} = E[C^2 φ'(s̃_l W) φ'(s̃_u W)]
```

## 与线性化 NN 的关系

[[linearized-neural-network|线性化 NN]] 的 tangent features `Φ(s)` 满足：

```
K(s, s') ≈ Φ(s) · Φ(s') / n
```

在线性化模型中，这个 Kernel 决定梯度场的几何——所有训练动态都在这一个固定的核空间中展开。

## 关键限制

- **Lazy training**：核不随训练演化 → 无特征学习
- **宽度依赖**：实际 NN 的核随训练变化（"feature learning"）
- **计算代价**：精确 NTK 在大数据集上不可行

## 参考

- [[linearized-neural-network|线性化 NN]]
- [[infinite-width-limit|无限宽度极限]]
- [[ticks-to-flows|Ticks to Flows]]