20260706:新增一些文章

papers/sen-mapping-networks.md

@@ -0,0 +1,105 @@
+---
+title: "Mapping Networks: Latent-Vector-Driven Parameter Generation with Manifold Guarantees"
+created: 2026-06-25
+updated: 2026-06-25
+type: paper
+venue: arXiv
+year: 2026
+arxiv: "2602.19134"
+tags: [parameter-efficient-training, weight-generation, manifold-learning, hypernetworks, deep-learning-theory]
+sources: ["https://arxiv.org/abs/2602.19134"]
+---
+
+# Mapping Networks
+
+## 核心问题
+
+现代深度学习模型参数量从百万到万亿级，训练成本高、过拟合风险大。**能否不直接训练大网络，而是从紧凑的隐向量生成其参数？** Mapping Networks 给出的答案是：基于参数空间存在低维流形的假设，用一个可训练的隐向量 z ∈ R^d 通过固定映射网络生成目标网络的全部参数，实现 200–500× 的参数量缩减，同时保持甚至提升性能。
+
+## 核心贡献
+
+### 1. Weight-Manifold Hypothesis（权重流形假设）
+
+神经网络在训练过程中，参数并不探索完整的 R^P 高维空间，而是沿着低维光滑流形 M_θ 演化。形式化表述：
+
+> 对网络 f_θ 的参数 θ ∈ R^P，存在可微嵌入子流形 M_θ ⊂ R^P，使得 dim(M_θ) = d* ≪ P，且训练后的最优参数 θ* 位于（或接近）该流形。
+
+实验支持：在 MNIST 训练的 CNN 上做 PCA/t-SNE 可视化，观察到的逐层参数的平滑、低维轨迹（Figure 2）。
+
+### 2. Mapping Theorem（映射定理）
+
+**定理**：在 Weight-Manifold Hypothesis 和局部 Lipschitz 条件下，对任意 ε > 0，存在：
+- δ > 0
+- 整数 d ≥ d*
+- C² 映射 g: R^d → R^P
+- 隐向量 z* ∈ R^d
+
+使得 ‖g(z*) − θ*‖ ≤ δ 且 |L(g(z*)) − L(θ*)| ≤ ε。
+
+**直观**：存在一个光滑映射，能将低维隐向量投影到高维参数空间，使生成的参数在损失函数上任意接近最优参数。证明基于 C² 微分同胚 φ: U → V ⊂ M_θ 和光滑 bump function 的拼接构造。
+
+### 3. Solvability Theorem（可解性定理）
+
+证明**加性调制 + 正交初始化**的映射网络满足 Mapping Theorem。即：固定权重 ω_0（正交初始化）+ 可训练隐向量 z 调制 ω(z) = ω_0 + B·z 构成的映射网络 g_ω(z) 即为一个满足定理的 g。
+
+### 4. Mapping Network 架构
+
+```
+z ∈ R^d (可训练隐向量)
+    ↓
+Mapping Network (固定权重, 正交初始化)
+    ↓ 调制: w_ij ← w_ij + α·z_i
+    ↓
+生成参数 θ̂ ∈ R^P
+    ↓ reshape & partition
+    ↓
+Target Network (仅做前向, 不训练)
+    ↓
+ŷ (预测输出)
+```
+
+### 5. Mapping Loss
+
+$$L_{\text{map}} = L_{\text{task}} + \lambda_{\text{stab}} L_{\text{stab}} + \lambda_{\text{sm}} L_{\text{smooth}} + \lambda_{\text{al}} L_{\text{align}}$$
+
+其中 λ 均为可训练系数：
+
+| 组件 | 作用 | 公式 |
+|------|------|------|
+| Task Loss | 下游任务精度 | 交叉熵 |
+| Stability Loss | 强制局部 Lipschitz 连续性 | E[‖f(z+ε) − f(z)‖²], ε ∼ N(0,σ²I) |
+| Smoothness Loss | C² 连续性，抑制震荡 | ‖∇_z M_φ(z)‖²_F |
+| Alignment Loss | 隐向量与权重方向对齐 | 1 − cos(z, W̄_m) |
+
+## 训练策略
+
+- **SLVT (Single Latent Vector Training)**：一个隐向量生成全部参数。简洁但大网络时映射权重内存开销大。
+- **LWT (Layer-wise Training)**：每层独立的隐向量。内存效率高 10×，适合大网络和微调。
+
+## 关键实验发现
+
+1. **参数效率**：MNIST CNN 从 538K → 1K 参数（525×），准确率从 99.32% → 99.67%
+2. **抗过拟合**：FMNIST 上 baseline 训练精度 99.10% → 测试 92.89%（drop 6.21%），Mapping 仅 drop 1.8%
+3. **Deepfake 检测**：Celeb-DF 上 79.03% → 85.90%（+6.87%，53× 参数缩减）
+4. **微调能力**：ResNet50 从 25M → 2K 可训练参数，精度接近
+5. **消融关键发现**：权重调制（+2–4%）> 各 Loss 组件（+2–3%），映射权重全可训练反而增加过拟合
+
+## 延伸能力
+
+- 兼容 **Low-Rank Decomposition**（对 FC 层做 UV^T 分解，映射网络生成 U, V）
+- 兼容 **Pruning** 和 **Quantization**（减少推理参数）
+- 支持**微调**：通过调制向量 o_i 微调预训练权重（而非修改权重本身）
+
+## 与已有工作的关系
+
+| 工作 | 区别 |
+|------|------|
+| [[hypernetworks\|HyperNetworks]] | HN 中目标网络和超网络同时训练；MN 仅训练隐向量，目标网络不训练 |
+| [[lottery-ticket-hypothesis\|Lottery Ticket]] | 稀疏子网络搜索侧重推理；MN 是元参数化，侧重训练效率 |
+| [[low-rank-decomposition\|Low-Rank Compression]] | 后训练压缩 vs 训练时嵌入；MN 可与其组合 |
+| [[manifold-hypothesis\|Manifold Hypothesis]] | 传统假设数据在低维流形上；MN 推广到参数空间 |
+
+## 参考
+
+- [原始存档](raw/papers/sen-mapping-networks-2026.md)
+- 来源: https://arxiv.org/abs/2602.19134