1.8 KiB
1.8 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||||
|---|---|---|---|---|---|---|---|---|---|---|---|
| Normal-Tangent Decomposition (法向-切向分解) | 2026-06-23 | 2026-06-23 | concept |
|
|
Normal-Tangent Decomposition (法向-切向分解)
法向-切向分解是 Gan (2026b) 分析过参数化网络 EoS 动力学的核心技术：将梯度下降迭代在 manifold-of-minimizers M 附近分解为法向和切向两个子空间的独立动力学。
分解框架
在 x* ∈ M 处，将梯度下降的两步映射 f(f(x)) 分别投影到：
法向空间 N_x M*：
- 动力学经历 flip-bifurcation
- 投影后的两步映射存在稳定不动点 x_s（周期-2 轨道），条件为 first-lyapunov-coefficient
Π_N (f(f(x_s)) - x*) = Π_N (x_s - x*)且 x_s 为法向投影动力学的稳定平衡点
切向空间 T_x M*：
- 两步迭代沿 M 漂移，方向由 sharpness 梯度决定：
Π_T (f(f(x)) - x*) = -η p² Π_T ∇³L(x*)[v_max]² + O(η p³)
- 其中 p 为法向投影坐标，∇³L[v_max]² 是 sharpness 的梯度
- 这意味着：切向漂移始终指向 sharpness 递减方向
收敛定理
在以下条件下 (Theorem 4.4)，梯度下降从 x* 的邻域初始化且 η = 2/λ_max(x*) 时收敛到 M：
- c₁(x*) > 0（超临界分岔）
- Π_T ∇³L(x*)[v_max]² ≠ 0（保证切向漂移非退化——sharpness 严格下降）
直观理解
法向提供稳定性（周期振荡不发散），切向提供收敛性（漂移到更低 sharpness 区域）——两者协同使 EoS 训练成为可能。