myWiki/concepts/manifold-of-minimizers.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Manifold of Minimizers (极小值流形)	2026-06-23	2026-06-23	concept	loss-landscape overparameterization optimization geometry	gan-bifurcation-eos

Manifold of Minimizers (极小值流形)

极小值流形 (Manifold of Minimizers) 是过参数化神经网络损失景观的核心几何特征：当参数数量远超训练样本数时，损失函数在参数空间中存在连续的全局极小值集合，形成一个低维流形 M。

数学刻画

对于过参数化网络，Hessian ∇²L(x*) 在任意极小值 x* ∈ M 处秩亏：

• 零空间 = 极小值流形的切空间 T_x* M（Morse-Bott 条件）
• 非零特征值 = 法向曲率，其中最大特征值即为 sharpness

EoS 中的关键角色

极小值流形的存在使简单的标量 flip 分岔分析不足。Gan (2026b) 的关键贡献是将梯度下降动力学沿 M 分解为：

1. 法向 (Normal) 动力学：在 N_x* M 中经历 flip-bifurcation，c₁ 决定稳定性
2. 切向 (Tangent) 动力学：沿 M 漂移，方向为递减 sharpness 的方向

这种 normal-tangent-decomposition 是理解过参数化网络中 EoS 收敛的核心框架。

相关概念

• Draxler et al. (2019)：实证发现损失景观中极小值间无障碍
• Simsek et al. (2021)：对称性诱导的 Hessian 退化
• Li et al. (2022)：SGD 沿极小值流形的动力学框架

参考

• gan-bifurcation-eos
• normal-tangent-decomposition
• sharpness
• edge-of-stability