20260625:很多新内容

This commit is contained in:
2026-06-25 14:08:47 +08:00
parent 91fac5b6fc
commit 6021dea160
375 changed files with 19263 additions and 251 deletions

View File

@@ -0,0 +1,40 @@
---
title: "Manifold of Minimizers (极小值流形)"
created: 2026-06-23
updated: 2026-06-23
type: concept
tags: [loss-landscape, overparameterization, optimization, geometry]
sources: [gan-bifurcation-eos]
---
# Manifold of Minimizers (极小值流形)
极小值流形 (Manifold of Minimizers) 是过参数化神经网络损失景观的核心几何特征:当参数数量远超训练样本数时,损失函数在参数空间中存在**连续的全局极小值集合**,形成一个低维流形 M。
## 数学刻画
对于过参数化网络Hessian ∇²L(x*) 在任意极小值 x* ∈ M 处秩亏:
- **零空间** = 极小值流形的切空间 T_x* MMorse-Bott 条件)
- **非零特征值** = 法向曲率,其中最大特征值即为 [[sharpness]]
## EoS 中的关键角色
极小值流形的存在使简单的标量 flip 分岔分析不足。Gan (2026b) 的关键贡献是将梯度下降动力学沿 M 分解为:
1. **法向 (Normal) 动力学**:在 N_x* M 中经历 [[flip-bifurcation|flip 分岔]]c₁ 决定稳定性
2. **切向 (Tangent) 动力学**:沿 M 漂移,方向为递减 sharpness 的方向
这种 [[normal-tangent-decomposition|法向-切向分解]] 是理解过参数化网络中 EoS 收敛的核心框架。
## 相关概念
- Draxler et al. (2019):实证发现损失景观中极小值间无障碍
- Simsek et al. (2021):对称性诱导的 Hessian 退化
- Li et al. (2022)SGD 沿极小值流形的动力学框架
## 参考
- [[gan-bifurcation-eos]]
- [[normal-tangent-decomposition]]
- [[sharpness]]
- [[edge-of-stability]]