1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | |||||
|---|---|---|---|---|---|---|---|---|---|---|
| Product-Stability (乘积稳定性) | 2026-06-23 | 2026-06-23 | concept |
|
|
Product-Stability (乘积稳定性)
Product-stability 是 Gan (2026) 提出的用于分析形式为 L(x,y) = f(xy) 的极简损失函数上 EoS 收敛的条件。
定义
对于标量函数 f: R → R（具有连续四阶导数），f 在 z 处的乘积稳定性定义为：
α_f(z) = 3(f⁽³⁾(z))² - f⁽⁴⁾(z)·f''(z)
若 α_f(z) > 0，称 f 在 z 处乘积稳定。
与 EoS 收敛的关系
Gan (2026) 证明：对于 L(x,y) = f(xy) 形式的损失，α_f > 0 是梯度下降在 EoS 阈值处收敛的充要条件。乘积稳定性统一了此前所有极简 EoS 分析的收敛结果（Wang et al., Zhu et al., Song & Yun, Ahn et al. 等）。
与第一 Lyapunov 系数的桥接
Gan (2026b) 证明了乘积稳定性是分岔理论框架的特例：
- α_f 本质上是标量 f 的第一 Lyapunov 系数（差缩放因子）
- 对于二维损失 L(x,y) = f(xy)，c₁ 的符号由 α_f 主导（当 x² + y² 足够大时）
- 在极小值流形 xy = z* 上，切向 sharpness 梯度非零 ⇔ f''(z*)·(x² - y²) ≠ 0
这建立了"极简标量分析"与"一般分岔框架"之间的直接桥梁。
参考
- Gan (2026). Product-Stability: Provable Convergence for Gradient Descent on the Edge of Stability. arXiv:2604.02653.
- gan-bifurcation-eos (Section 5)
- first-lyapunov-coefficient
- edge-of-stability