20260706:新增一些文章

concepts/weight-modulation.md

@@ -0,0 +1,57 @@
+---
+title: "Weight Modulation: 权重调制"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [mapping-networks, weight-generation, affine-transformation]
+sources: ["[[sen-mapping-networks]]"]
+---
+
+# Weight Modulation (权重调制)
+
+Weight Modulation 是 [[sen-mapping-networks|Mapping Networks]] 的核心机制——通过隐向量 z 对固定映射权重进行**仿射调制**来生成目标网络参数。
+
+## 调制公式
+
+对映射网络中连接到 z_i 的权重 w_ij（j = 1, 2, ..., P）：
+
+$$w_{ij} \leftarrow w_{ij} + \alpha \cdot z_i$$
+
+其中 α 是小调制尺度（modulation scale）。生成的目标参数：
+
+$$\hat{\theta} = \sigma(W \cdot z + b)$$
+
+σ(·) 为激活函数，θ̂ ∈ R^P 为展平的高维参数描述子。
+
+## 训练过程（Figure 4）
+
+```
+Epoch p:
+  z^(p) → 调制 w^(p) = w_0 + α·z^(p) → 生成 θ̂ → 前向 → 计算 Loss
+         ↓ backprop (仅通过 z)
+Epoch p+1:
+  z^(p+1) ← z^(p) − η·∇_z L
+```
+
+**关键**：梯度仅通过隐向量 z 传播，映射权重 w 始终固定（正交初始化）。
+
+## 消融关键发现（Table 7）
+
+- **无调制 (Ours*–WM)**：映射权重固定且不调制 → 精度显著下降（−2-4%）
+- **全可训练映射权重 (Full DNN)**：去掉隐向量，直接训练映射权重 → 反而增加过拟合
+- **分离可训练参数调制 (LV+WMAP)**：用另一组参数调制权重 → 不如隐向量调制
+- **最佳方案**：固定正交初始化 + 隐向量调制 — 在欠拟合和过拟合间取得最佳平衡
+
+## 调制在理论中的角色
+
+[[solvability-theorem|Solvability Theorem]] 证明，ω(z) = ω_0 + Bz 这种加性调制形式满足 [[mapping-theorem|Mapping Theorem]] 的映射存在性要求。调制使固定权重获得"上下文"，避免纯随机投影。
+
+## 微调中的调制
+
+微调预训练模型时，不直接修改权重，而是生成调制向量 o_i，以 w_ij ← w_ij + α·o_i 方式调制。每个 o_i 可调制 L 个权重，通过调整 L 控制可训练参数量。
+
+## 参考
+
+- [[mapping-loss]]
+- [[solvability-theorem]]
+- [[hypernetworks]]