46 lines
1.8 KiB
Markdown
46 lines
1.8 KiB
Markdown
---
|
||
title: "Weight-Manifold Hypothesis: 参数空间流形假设"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [manifold-learning, parameter-space, deep-learning-theory, mapping-networks]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Weight-Manifold Hypothesis (权重流形假设)
|
||
|
||
Weight-Manifold Hypothesis 是 [[sen-mapping-networks|Mapping Networks]] 的核心假设，将传统的 [[manifold-hypothesis|Manifold Hypothesis]] 从数据空间推广到**参数空间**。
|
||
|
||
## 形式化表述
|
||
|
||
对网络 f_θ 的参数 θ ∈ R^P，存在可微嵌入子流形 M_θ ⊂ R^P，使得：
|
||
|
||
- d = dim(M_θ) ≪ P（内在维度远小于参数总数）
|
||
- 训练后的最优参数 θ* ∈ M_θ（或在其附近）
|
||
|
||
**关键含义**：P 维参数空间中所有值并非相互独立——它们受限于低维流形结构。
|
||
|
||
## 实验证据（Figure 2）
|
||
|
||
在 MNIST 训练的 CNN 上记录每层参数的 snapshot：
|
||
|
||
- **PCA 投影**：各层参数占据平滑、低维、不相交的区域；轨迹接近仿射子空间（局部线性）
|
||
- **t-SNE 投影**：揭示参数演化的非线性几何结构
|
||
|
||
这明确表明参数在训练中不探索完整的 R^P 空间，而是沿光滑低维曲面演化。
|
||
|
||
## 理论意义
|
||
|
||
该假设是 [[mapping-theorem|Mapping Theorem]] 的前提条件。若参数确实位于低维流形上，则存在一个从低维隐空间到参数空间的**可微映射** g: R^d → R^P，使得 g(z*) ≈ θ* 且损失任意接近最优。
|
||
|
||
## 逐层流形
|
||
|
||
实验进一步支持**逐层子流形**的存在：(θ*)^(l) ∈ M_θ^(l)，即每层参数位于各自独立的低维流形上。这为 [[layer-wise-training|LWT]] 策略提供了理论依据。
|
||
|
||
## 参考
|
||
|
||
- [[mapping-theorem]]
|
||
- [[manifold-hypothesis]]
|
||
- [[intrinsic-dimension]]
|
||
- Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134
|