52 lines
1.8 KiB
Markdown
52 lines
1.8 KiB
Markdown
---
|
||
title: "Layer-wise Training (LWT): 逐层训练策略"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [mapping-networks, training-strategy, memory-efficiency]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Layer-wise Training (LWT)
|
||
|
||
Layer-wise Training (LWT) 是 [[sen-mapping-networks|Mapping Networks]] 的两种训练策略之一：为**每一层**分配独立的隐向量来生成该层的参数，而非使用单个隐向量生成全部参数。
|
||
|
||
## 动机
|
||
|
||
SLVT（单隐向量训练）中，目标网络越大，映射网络的固定权重越多 → 内存需求线性增长。LWT 通过**分解生成任务**解决了此问题。
|
||
|
||
## 机制
|
||
|
||
```
|
||
Layer 1: z_1 (d_1 维) → Mapping_1 → θ̂^(1) → Layer 1 前向
|
||
Layer 2: z_2 (d_2 维) → Mapping_2 → θ̂^(2) → Layer 2 前向
|
||
...
|
||
Layer L: z_L (d_L 维) → Mapping_L → θ̂^(L) → Layer L 前向
|
||
```
|
||
|
||
所有 z_l 同时优化，梯度通过各自映射网络传播。
|
||
|
||
## 理论依据
|
||
|
||
[[weight-manifold-hypothesis|Weight-Manifold Hypothesis]] 的实验证据支持**逐层子流形**的存在——每层参数 θ*^(l) 位于独立的低维流形 M_θ^(l) 上。LWT 让每个隐向量专注于捕获其对应层的流形结构。
|
||
|
||
## 与 SLVT 的对比
|
||
|
||
| 维度 | SLVT | LWT |
|
||
|------|------|-----|
|
||
| 隐向量数 | 1 | L（每层一个） |
|
||
| 内存需求 | 高（大目标网络时） | 低（~10× 减少） |
|
||
| 参数缩减 | 200–525× | 类似 |
|
||
| 精度 | 接近或超过 baseline | 通常更高 |
|
||
| 适用场景 | 中小型网络 | 大型网络、微调 |
|
||
|
||
## 在微调中的应用
|
||
|
||
LWT + 增加每个调制元素覆盖的权重数（L 参数）使 Mapping Networks 可扩展到 LLM/LVM 的微调场景。
|
||
|
||
## 参考
|
||
|
||
- [[weight-modulation]]
|
||
- [[parameter-efficient-training]]
|
||
- Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134, Section 2.4.2
|