---
title: "Weight Modulation: 权重调制"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [mapping-networks, weight-generation, affine-transformation]
sources: ["[[sen-mapping-networks]]"]
---

# Weight Modulation (权重调制)

Weight Modulation 是 [[sen-mapping-networks|Mapping Networks]] 的核心机制——通过隐向量 z 对固定映射权重进行**仿射调制**来生成目标网络参数。

## 调制公式

对映射网络中连接到 z_i 的权重 w_ij（j = 1, 2, ..., P）：

$$w_{ij} \leftarrow w_{ij} + \alpha \cdot z_i$$

其中 α 是小调制尺度（modulation scale）。生成的目标参数：

$$\hat{\theta} = \sigma(W \cdot z + b)$$

σ(·) 为激活函数，θ̂ ∈ R^P 为展平的高维参数描述子。

## 训练过程（Figure 4）

```
Epoch p:
  z^(p) → 调制 w^(p) = w_0 + α·z^(p) → 生成 θ̂ → 前向 → 计算 Loss
         ↓ backprop (仅通过 z)
Epoch p+1:
  z^(p+1) ← z^(p) − η·∇_z L
```

**关键**：梯度仅通过隐向量 z 传播，映射权重 w 始终固定（正交初始化）。

## 消融关键发现（Table 7）

- **无调制 (Ours*–WM)**：映射权重固定且不调制 → 精度显著下降（−2-4%）
- **全可训练映射权重 (Full DNN)**：去掉隐向量，直接训练映射权重 → 反而增加过拟合
- **分离可训练参数调制 (LV+WMAP)**：用另一组参数调制权重 → 不如隐向量调制
- **最佳方案**：固定正交初始化 + 隐向量调制 — 在欠拟合和过拟合间取得最佳平衡

## 调制在理论中的角色

[[solvability-theorem|Solvability Theorem]] 证明，ω(z) = ω_0 + Bz 这种加性调制形式满足 [[mapping-theorem|Mapping Theorem]] 的映射存在性要求。调制使固定权重获得"上下文"，避免纯随机投影。

## 微调中的调制

微调预训练模型时，不直接修改权重，而是生成调制向量 o_i，以 w_ij ← w_ij + α·o_i 方式调制。每个 o_i 可调制 L 个权重，通过调整 L 控制可训练参数量。

## 参考

- [[mapping-loss]]
- [[solvability-theorem]]
- [[hypernetworks]]