47 lines
1.8 KiB
Markdown
47 lines
1.8 KiB
Markdown
---
|
||
title: "Normal-Tangent Decomposition (法向-切向分解)"
|
||
created: 2026-06-23
|
||
updated: 2026-06-23
|
||
type: concept
|
||
tags: [gradient-descent, EoS, bifurcation, loss-landscape, overparameterization]
|
||
sources: [gan-bifurcation-eos]
|
||
---
|
||
|
||
# Normal-Tangent Decomposition (法向-切向分解)
|
||
|
||
法向-切向分解是 Gan (2026b) 分析过参数化网络 EoS 动力学的核心技术：将梯度下降迭代在 [[manifold-of-minimizers|极小值流形]] M 附近分解为法向和切向两个子空间的独立动力学。
|
||
|
||
## 分解框架
|
||
|
||
在 x* ∈ M 处，将梯度下降的两步映射 f(f(x)) 分别投影到：
|
||
|
||
**法向空间 N_x* M**：
|
||
- 动力学经历 [[flip-bifurcation|flip 分岔]]
|
||
- 投影后的两步映射存在稳定不动点 x_s（周期-2 轨道），条件为 [[first-lyapunov-coefficient|c₁ > 0]]
|
||
- `Π_N (f(f(x_s)) - x*) = Π_N (x_s - x*)` 且 x_s 为法向投影动力学的稳定平衡点
|
||
|
||
**切向空间 T_x* M**：
|
||
- 两步迭代沿 M 漂移，方向由 sharpness 梯度决定：
|
||
```
|
||
Π_T (f(f(x)) - x*) = -η p² Π_T ∇³L(x*)[v_max]² + O(η p³)
|
||
```
|
||
- 其中 p 为法向投影坐标，∇³L[v_max]² 是 sharpness 的梯度
|
||
- 这意味着：**切向漂移始终指向 sharpness 递减方向**
|
||
|
||
## 收敛定理
|
||
|
||
在以下条件下 (Theorem 4.4)，梯度下降从 x* 的邻域初始化且 η = 2/λ_max(x*) 时收敛到 M：
|
||
1. c₁(x*) > 0（超临界分岔）
|
||
2. Π_T ∇³L(x*)[v_max]² ≠ 0（保证切向漂移非退化——sharpness 严格下降）
|
||
|
||
## 直观理解
|
||
|
||
法向提供**稳定性**（周期振荡不发散），切向提供**收敛性**（漂移到更低 sharpness 区域）——两者协同使 EoS 训练成为可能。
|
||
|
||
## 参考
|
||
|
||
- [[gan-bifurcation-eos]]（Theorem 4.4）
|
||
- [[manifold-of-minimizers]]
|
||
- [[flip-bifurcation]]
|
||
- [[edge-of-stability]]
|