Layer-wise Training (LWT)

Layer-wise Training (LWT) 是 sen-mapping-networks 的两种训练策略之一：为每一层分配独立的隐向量来生成该层的参数，而非使用单个隐向量生成全部参数。

动机

SLVT（单隐向量训练）中，目标网络越大，映射网络的固定权重越多 → 内存需求线性增长。LWT 通过分解生成任务解决了此问题。

机制

Layer 1: z_1 (d_1 维) → Mapping_1 → θ̂^(1) → Layer 1 前向
Layer 2: z_2 (d_2 维) → Mapping_2 → θ̂^(2) → Layer 2 前向
...
Layer L: z_L (d_L 维) → Mapping_L → θ̂^(L) → Layer L 前向

所有 z_l 同时优化，梯度通过各自映射网络传播。

理论依据

weight-manifold-hypothesis 的实验证据支持逐层子流形的存在——每层参数 θ*^(l) 位于独立的低维流形 M_θ^(l) 上。LWT 让每个隐向量专注于捕获其对应层的流形结构。

与 SLVT 的对比

维度	SLVT	LWT
隐向量数	1	L（每层一个）
内存需求	高（大目标网络时）	低（~10× 减少）
参数缩减	200–525×	类似
精度	接近或超过 baseline	通常更高
适用场景	中小型网络	大型网络、微调

在微调中的应用

LWT + 增加每个调制元素覆盖的权重数（L 参数）使 Mapping Networks 可扩展到 LLM/LVM 的微调场景。

参考

weight-modulation
parameter-efficient-training
Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134, Section 2.4.2

1.8 KiB Raw Blame History Unescape Escape

Layer-wise Training (LWT)

动机

机制

理论依据

与 SLVT 的对比

在微调中的应用

参考

1.8 KiB

Raw Blame History