20260625:很多新内容
This commit is contained in:
40
concepts/manifold-of-minimizers.md
Normal file
40
concepts/manifold-of-minimizers.md
Normal file
@@ -0,0 +1,40 @@
|
||||
---
|
||||
title: "Manifold of Minimizers (极小值流形)"
|
||||
created: 2026-06-23
|
||||
updated: 2026-06-23
|
||||
type: concept
|
||||
tags: [loss-landscape, overparameterization, optimization, geometry]
|
||||
sources: [gan-bifurcation-eos]
|
||||
---
|
||||
|
||||
# Manifold of Minimizers (极小值流形)
|
||||
|
||||
极小值流形 (Manifold of Minimizers) 是过参数化神经网络损失景观的核心几何特征:当参数数量远超训练样本数时,损失函数在参数空间中存在**连续的全局极小值集合**,形成一个低维流形 M。
|
||||
|
||||
## 数学刻画
|
||||
|
||||
对于过参数化网络,Hessian ∇²L(x*) 在任意极小值 x* ∈ M 处秩亏:
|
||||
- **零空间** = 极小值流形的切空间 T_x* M(Morse-Bott 条件)
|
||||
- **非零特征值** = 法向曲率,其中最大特征值即为 [[sharpness]]
|
||||
|
||||
## EoS 中的关键角色
|
||||
|
||||
极小值流形的存在使简单的标量 flip 分岔分析不足。Gan (2026b) 的关键贡献是将梯度下降动力学沿 M 分解为:
|
||||
|
||||
1. **法向 (Normal) 动力学**:在 N_x* M 中经历 [[flip-bifurcation|flip 分岔]],c₁ 决定稳定性
|
||||
2. **切向 (Tangent) 动力学**:沿 M 漂移,方向为递减 sharpness 的方向
|
||||
|
||||
这种 [[normal-tangent-decomposition|法向-切向分解]] 是理解过参数化网络中 EoS 收敛的核心框架。
|
||||
|
||||
## 相关概念
|
||||
|
||||
- Draxler et al. (2019):实证发现损失景观中极小值间无障碍
|
||||
- Simsek et al. (2021):对称性诱导的 Hessian 退化
|
||||
- Li et al. (2022):SGD 沿极小值流形的动力学框架
|
||||
|
||||
## 参考
|
||||
|
||||
- [[gan-bifurcation-eos]]
|
||||
- [[normal-tangent-decomposition]]
|
||||
- [[sharpness]]
|
||||
- [[edge-of-stability]]
|
||||
Reference in New Issue
Block a user