Weight Modulation (权重调制)

Weight Modulation 是 sen-mapping-networks 的核心机制——通过隐向量 z 对固定映射权重进行仿射调制来生成目标网络参数。

调制公式

对映射网络中连接到 z_i 的权重 w_ij（j = 1, 2, ..., P）：

w_{ij} \leftarrow w_{ij} + \alpha \cdot z_i

其中 α 是小调制尺度（modulation scale）。生成的目标参数：

\hat{\theta} = \sigma(W \cdot z + b)

σ(·) 为激活函数，θ̂ ∈ R^P 为展平的高维参数描述子。

Epoch p:
  z^(p) → 调制 w^(p) = w_0 + α·z^(p) → 生成 θ̂ → 前向 → 计算 Loss
         ↓ backprop (仅通过 z)
Epoch p+1:
  z^(p+1) ← z^(p) − η·∇_z L

关键：梯度仅通过隐向量 z 传播，映射权重 w 始终固定（正交初始化）。

solvability-theorem 证明，ω(z) = ω_0 + Bz 这种加性调制形式满足 mapping-theorem 的映射存在性要求。调制使固定权重获得"上下文"，避免纯随机投影。

微调预训练模型时，不直接修改权重，而是生成调制向量 o_i，以 w_ij ← w_ij + α·o_i 方式调制。每个 o_i 可调制 L 个权重，通过调整 L 控制可训练参数量。