41 lines
1.5 KiB
Markdown
41 lines
1.5 KiB
Markdown
---
|
||
title: "Manifold of Minimizers (极小值流形)"
|
||
created: 2026-06-23
|
||
updated: 2026-06-23
|
||
type: concept
|
||
tags: [loss-landscape, overparameterization, optimization, geometry]
|
||
sources: [gan-bifurcation-eos]
|
||
---
|
||
|
||
# Manifold of Minimizers (极小值流形)
|
||
|
||
极小值流形 (Manifold of Minimizers) 是过参数化神经网络损失景观的核心几何特征：当参数数量远超训练样本数时，损失函数在参数空间中存在**连续的全局极小值集合**，形成一个低维流形 M。
|
||
|
||
## 数学刻画
|
||
|
||
对于过参数化网络，Hessian ∇²L(x*) 在任意极小值 x* ∈ M 处秩亏：
|
||
- **零空间** = 极小值流形的切空间 T_x* M（Morse-Bott 条件）
|
||
- **非零特征值** = 法向曲率，其中最大特征值即为 [[sharpness]]
|
||
|
||
## EoS 中的关键角色
|
||
|
||
极小值流形的存在使简单的标量 flip 分岔分析不足。Gan (2026b) 的关键贡献是将梯度下降动力学沿 M 分解为：
|
||
|
||
1. **法向 (Normal) 动力学**：在 N_x* M 中经历 [[flip-bifurcation|flip 分岔]]，c₁ 决定稳定性
|
||
2. **切向 (Tangent) 动力学**：沿 M 漂移，方向为递减 sharpness 的方向
|
||
|
||
这种 [[normal-tangent-decomposition|法向-切向分解]] 是理解过参数化网络中 EoS 收敛的核心框架。
|
||
|
||
## 相关概念
|
||
|
||
- Draxler et al. (2019)：实证发现损失景观中极小值间无障碍
|
||
- Simsek et al. (2021)：对称性诱导的 Hessian 退化
|
||
- Li et al. (2022)：SGD 沿极小值流形的动力学框架
|
||
|
||
## 参考
|
||
|
||
- [[gan-bifurcation-eos]]
|
||
- [[normal-tangent-decomposition]]
|
||
- [[sharpness]]
|
||
- [[edge-of-stability]]
|