20260706:新增一些文章

concepts/weight-manifold-hypothesis.md

@@ -0,0 +1,45 @@
+---
+title: "Weight-Manifold Hypothesis: 参数空间流形假设"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [manifold-learning, parameter-space, deep-learning-theory, mapping-networks]
+sources: ["[[sen-mapping-networks]]"]
+---
+
+# Weight-Manifold Hypothesis (权重流形假设)
+
+Weight-Manifold Hypothesis 是 [[sen-mapping-networks|Mapping Networks]] 的核心假设，将传统的 [[manifold-hypothesis|Manifold Hypothesis]] 从数据空间推广到**参数空间**。
+
+## 形式化表述
+
+对网络 f_θ 的参数 θ ∈ R^P，存在可微嵌入子流形 M_θ ⊂ R^P，使得：
+
+- d = dim(M_θ) ≪ P（内在维度远小于参数总数）
+- 训练后的最优参数 θ* ∈ M_θ（或在其附近）
+
+**关键含义**：P 维参数空间中所有值并非相互独立——它们受限于低维流形结构。
+
+## 实验证据（Figure 2）
+
+在 MNIST 训练的 CNN 上记录每层参数的 snapshot：
+
+- **PCA 投影**：各层参数占据平滑、低维、不相交的区域；轨迹接近仿射子空间（局部线性）
+- **t-SNE 投影**：揭示参数演化的非线性几何结构
+
+这明确表明参数在训练中不探索完整的 R^P 空间，而是沿光滑低维曲面演化。
+
+## 理论意义
+
+该假设是 [[mapping-theorem|Mapping Theorem]] 的前提条件。若参数确实位于低维流形上，则存在一个从低维隐空间到参数空间的**可微映射** g: R^d → R^P，使得 g(z*) ≈ θ* 且损失任意接近最优。
+
+## 逐层流形
+
+实验进一步支持**逐层子流形**的存在：(θ*)^(l) ∈ M_θ^(l)，即每层参数位于各自独立的低维流形上。这为 [[layer-wise-training|LWT]] 策略提供了理论依据。
+
+## 参考
+
+- [[mapping-theorem]]
+- [[manifold-hypothesis]]
+- [[intrinsic-dimension]]
+- Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134