myWiki/concepts/weight-manifold-hypothesis.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Weight-Manifold Hypothesis: 参数空间流形假设	2026-06-25	2026-06-25	concept	manifold-learning parameter-space deep-learning-theory mapping-networks	sen-mapping-networks

Weight-Manifold Hypothesis (权重流形假设)

Weight-Manifold Hypothesis 是 sen-mapping-networks 的核心假设，将传统的 manifold-hypothesis 从数据空间推广到参数空间。

形式化表述

对网络 f_θ 的参数 θ ∈ R^P，存在可微嵌入子流形 M_θ ⊂ R^P，使得：

• d = dim(M_θ) ≪ P（内在维度远小于参数总数）
• 训练后的最优参数 θ* ∈ M_θ（或在其附近）

关键含义：P 维参数空间中所有值并非相互独立——它们受限于低维流形结构。

实验证据（Figure 2）

在 MNIST 训练的 CNN 上记录每层参数的 snapshot：

• PCA 投影：各层参数占据平滑、低维、不相交的区域；轨迹接近仿射子空间（局部线性）
• t-SNE 投影：揭示参数演化的非线性几何结构

这明确表明参数在训练中不探索完整的 R^P 空间，而是沿光滑低维曲面演化。

理论意义

该假设是 mapping-theorem 的前提条件。若参数确实位于低维流形上，则存在一个从低维隐空间到参数空间的可微映射 g: R^d → R^P，使得 g(z*) ≈ θ* 且损失任意接近最优。

逐层流形

实验进一步支持逐层子流形的存在：(θ*)^(l) ∈ M_θ^(l)，即每层参数位于各自独立的低维流形上。这为 layer-wise-training 策略提供了理论依据。

参考

• mapping-theorem
• manifold-hypothesis
• intrinsic-dimension
• Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134