---
title: "Normal-Tangent Decomposition (法向-切向分解)"
created: 2026-06-23
updated: 2026-06-23
type: concept
tags: [gradient-descent, EoS, bifurcation, loss-landscape, overparameterization]
sources: [gan-bifurcation-eos]
---

# Normal-Tangent Decomposition (法向-切向分解)

法向-切向分解是 Gan (2026b) 分析过参数化网络 EoS 动力学的核心技术：将梯度下降迭代在 [[manifold-of-minimizers|极小值流形]] M 附近分解为法向和切向两个子空间的独立动力学。

## 分解框架

在 x* ∈ M 处，将梯度下降的两步映射 f(f(x)) 分别投影到：

**法向空间 N_x* M**：
- 动力学经历 [[flip-bifurcation|flip 分岔]]
- 投影后的两步映射存在稳定不动点 x_s（周期-2 轨道），条件为 [[first-lyapunov-coefficient|c₁ > 0]]
- `Π_N (f(f(x_s)) - x*) = Π_N (x_s - x*)` 且 x_s 为法向投影动力学的稳定平衡点

**切向空间 T_x* M**：
- 两步迭代沿 M 漂移，方向由 sharpness 梯度决定：
```
Π_T (f(f(x)) - x*) = -η p² Π_T ∇³L(x*)[v_max]² + O(η p³)
```
- 其中 p 为法向投影坐标，∇³L[v_max]² 是 sharpness 的梯度
- 这意味着：**切向漂移始终指向 sharpness 递减方向**

## 收敛定理

在以下条件下 (Theorem 4.4)，梯度下降从 x* 的邻域初始化且 η = 2/λ_max(x*) 时收敛到 M：
1. c₁(x*) > 0（超临界分岔）
2. Π_T ∇³L(x*)[v_max]² ≠ 0（保证切向漂移非退化——sharpness 严格下降）

## 直观理解

法向提供**稳定性**（周期振荡不发散），切向提供**收敛性**（漂移到更低 sharpness 区域）——两者协同使 EoS 训练成为可能。

## 参考

- [[gan-bifurcation-eos]]（Theorem 4.4）
- [[manifold-of-minimizers]]
- [[flip-bifurcation]]
- [[edge-of-stability]]