58 lines
2.1 KiB
Markdown
58 lines
2.1 KiB
Markdown
---
|
||
title: "Weight Modulation: 权重调制"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [mapping-networks, weight-generation, affine-transformation]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Weight Modulation (权重调制)
|
||
|
||
Weight Modulation 是 [[sen-mapping-networks|Mapping Networks]] 的核心机制——通过隐向量 z 对固定映射权重进行**仿射调制**来生成目标网络参数。
|
||
|
||
## 调制公式
|
||
|
||
对映射网络中连接到 z_i 的权重 w_ij（j = 1, 2, ..., P）：
|
||
|
||
$$w_{ij} \leftarrow w_{ij} + \alpha \cdot z_i$$
|
||
|
||
其中 α 是小调制尺度（modulation scale）。生成的目标参数：
|
||
|
||
$$\hat{\theta} = \sigma(W \cdot z + b)$$
|
||
|
||
σ(·) 为激活函数，θ̂ ∈ R^P 为展平的高维参数描述子。
|
||
|
||
## 训练过程（Figure 4）
|
||
|
||
```
|
||
Epoch p:
|
||
z^(p) → 调制 w^(p) = w_0 + α·z^(p) → 生成 θ̂ → 前向 → 计算 Loss
|
||
↓ backprop (仅通过 z)
|
||
Epoch p+1:
|
||
z^(p+1) ← z^(p) − η·∇_z L
|
||
```
|
||
|
||
**关键**：梯度仅通过隐向量 z 传播，映射权重 w 始终固定（正交初始化）。
|
||
|
||
## 消融关键发现（Table 7）
|
||
|
||
- **无调制 (Ours*–WM)**：映射权重固定且不调制 → 精度显著下降（−2-4%）
|
||
- **全可训练映射权重 (Full DNN)**：去掉隐向量，直接训练映射权重 → 反而增加过拟合
|
||
- **分离可训练参数调制 (LV+WMAP)**：用另一组参数调制权重 → 不如隐向量调制
|
||
- **最佳方案**：固定正交初始化 + 隐向量调制 — 在欠拟合和过拟合间取得最佳平衡
|
||
|
||
## 调制在理论中的角色
|
||
|
||
[[solvability-theorem|Solvability Theorem]] 证明，ω(z) = ω_0 + Bz 这种加性调制形式满足 [[mapping-theorem|Mapping Theorem]] 的映射存在性要求。调制使固定权重获得"上下文"，避免纯随机投影。
|
||
|
||
## 微调中的调制
|
||
|
||
微调预训练模型时，不直接修改权重，而是生成调制向量 o_i，以 w_ij ← w_ij + α·o_i 方式调制。每个 o_i 可调制 L 个权重，通过调整 L 控制可训练参数量。
|
||
|
||
## 参考
|
||
|
||
- [[mapping-loss]]
|
||
- [[solvability-theorem]]
|
||
- [[hypernetworks]]
|