---
title: "A Bifurcation Theory Framework for Gradient Descent on the Edge of Stability"
created: 2026-06-23
updated: 2026-06-23
type: paper
arxiv: "2606.15551v1"
category: cs.LG
author: "Eric Gan"
venue: Preprint
tags: [EoS, bifurcation-theory, gradient-descent, optimization, overparameterization, loss-landscape]
---

# 分岔理论框架下的梯度下降稳定边缘分析

> Eric Gan, arXiv:2606.15551v1, 2026

## 摘要

Edge of Stability (EoS) —— 梯度下降在 sharpness 超过经典收敛阈值 2/η 时仍能稳定训练 —— 是深度学习中最重要但理论理解不足的现象之一。本文发展了一个**分岔理论框架**，直接适用于过参数化神经网络：将训练动力学沿极小值流形 M 分解为法向和切向分量，揭示 EoS 稳定性源自法向的 **flip 分岔**（由第一 Lyapunov 系数 c₁ 控制），同时切向动力学向 sharpness 递减方向漂移。在温和的谱和几何假设下，证明了在 EoS 阈值处（η = 2/λ_max(x*)）收敛到极小值流形。

## 核心问题

以往严格的 EoS 分析（Zhu et al., Wang et al., Song & Yun, Gan 2026）局限于低维、结构特殊的损失函数，无法捕捉现代神经网络训练的几何复杂性。本文直面过参数化网络的核心特征——[[manifold-of-minimizers|极小值流形]]（连续全局极小集）带来的 Hessian 秩亏。

## 方法论：法向-切向分解

在极小值流形 M 上的任意点 x* 处：

1. **法向动力学**：经历 [[flip-bifurcation|flip 分岔]]（Jacobian 临界特征值 λ = -1），稳定性由 [[first-lyapunov-coefficient|第一 Lyapunov 系数 c₁]] 决定
   - c₁ > 0 → 超临界分岔 → 存在稳定周期-2 轨道
   - c₁ < 0 → 亚临界分岔 → 发散

2. **切向动力学**：两步迭代沿 M 漂移，方向为 **sharpness 梯度** 的反方向：
   ```
   Π_T(f(f(x)) - x*) = -η p² Π_T ∇³L(x*)[v_max]²
   ```
   这意味着 [[sharpness]] 沿训练**单调递减**

借助 [[center-manifold-theorem|中心流形定理]]，高维动力学可约化到低维临界子空间。

## 核心结论：Theorem 4.4

在以下条件下（对所有 x* ∈ M）：
1. **c₁(x*) > 0**（超临界分岔 —— 早期实证表明 MLP 满足此条件）
2. **Π_T ∇³L(x*)[v_max]² ≠ 0**（切向漂移非退化）

梯度下降以 η = 2/λ_max(x*) 从 x* 的邻域初始化时，**收敛到极小值流形 M**。

## 与乘积稳定性的统一

本文的第 5 节证明 [[product-stability|Gan (2026) 乘积稳定性]] 是本框架的特例：对于 L(x,y) = f(xy) 形式的损失，第一 Lyapunov 系数 c₁ 由 α_f = 3(f⁽³⁾)² - f⁽⁴⁾·f'' 主导。这建立了极简标量分析与一般分岔框架之间的直接桥梁。

## 开放问题

- 为什么实际网络的极小值处 c₁ > 0？尚无第一性原理解释
- Progressive Sharpening 的底层机制仍待解决
- SGD 噪声下的推广

## 相关概念

- [[edge-of-stability|Edge of Stability]]
- [[flip-bifurcation|Flip 分岔]]
- [[first-lyapunov-coefficient|第一 Lyapunov 系数]]
- [[manifold-of-minimizers|极小值流形]]
- [[normal-tangent-decomposition|法向-切向分解]]
- [[sharpness|Sharpness]]
- [[product-stability|乘积稳定性]]
- [[center-manifold-theorem|中心流形定理]]

## 来源

[arXiv:2606.15551](https://arxiv.org/abs/2606.15551)
[原始存档](raw/papers/gan-bifurcation-eos-2026.md)