57 lines
1.8 KiB
Markdown
57 lines
1.8 KiB
Markdown
---
|
||
title: "无限宽度极限 (Infinite-Width Limit)"
|
||
created: 2026-06-17
|
||
updated: 2026-06-17
|
||
type: concept
|
||
tags: [deep-learning, theory, neural-networks, asymptotics]
|
||
sources: [raw/papers/tiwari-ticks-to-flows-2026.md]
|
||
confidence: high
|
||
---
|
||
|
||
# 无限宽度极限 (Infinite-Width Limit)
|
||
|
||
无限宽度极限是深度学习理论中**将神经网络分析简化为高斯过程**的核心技巧。在 [[ticks-to-flows|Ticks-to-Flows]] 中，它是连接 RL 与随机过程理论的桥梁。
|
||
|
||
## 核心思想
|
||
|
||
当隐藏层宽度 `n → ∞` 时，在适当的初始化下，NN 的**输出在函数空间中收敛于高斯过程**（GP）。
|
||
|
||
## 两种视角
|
||
|
||
### 初始化极限（NNGP）
|
||
在初始化时，随机 NN 的输出分布收敛到一个 GP，其核函数为：
|
||
|
||
```
|
||
K(s, s') = E_{W~N(0,1)}[φ(W·s) φ(W·s')]
|
||
```
|
||
|
||
这是 Neural Network Gaussian Process（NNGP）。
|
||
|
||
### 训练极限（NTK）
|
||
在参数更新过程中，如果网络**无限宽**，则参数变化趋于 0，NN 退化为以 [[neural-tangent-kernel|NTK]] 为核的 kernel method。
|
||
|
||
## 在 Ticks-to-Flows 中的应用
|
||
|
||
1. **条件高斯化**：在给定 `s̃_{t,τ}` 的条件下，∆v, ∆v', ∆a, ∆a' 的分布是高斯分布（limit of CLT）
|
||
2. **O(1/sqrt(n)) 误差**：Berry-Esseen 类定理保证收敛速率
|
||
3. **封闭系统**：仅 5 个时变变量完全描述系统——这是高斯性带来的简化
|
||
|
||
## 关键假设
|
||
|
||
- 学习率 `η = O(1/sqrt(n))`——宽度越大，学习率越小
|
||
- 仅训练第一层参数（C 冻结）
|
||
- tanh 激活确保光滑性
|
||
|
||
## 局限性
|
||
|
||
- 不捕捉**特征学习**（NN 实际优势的来源）
|
||
- "lazy regime" 与实际训练有差距
|
||
- 扩展到有限宽度需要额外的纠偏项
|
||
|
||
## 参考
|
||
|
||
- [[neural-tangent-kernel|NTK]]
|
||
- [[linearized-neural-network|线性化 NN]]
|
||
- [[martingale-clt|鞅 CLT]]
|
||
- [[ticks-to-flows|Ticks to Flows]]
|