---
title: "Layer-wise Training (LWT): 逐层训练策略"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [mapping-networks, training-strategy, memory-efficiency]
sources: ["[[sen-mapping-networks]]"]
---

# Layer-wise Training (LWT)

Layer-wise Training (LWT) 是 [[sen-mapping-networks|Mapping Networks]] 的两种训练策略之一：为**每一层**分配独立的隐向量来生成该层的参数，而非使用单个隐向量生成全部参数。

## 动机

SLVT（单隐向量训练）中，目标网络越大，映射网络的固定权重越多 → 内存需求线性增长。LWT 通过**分解生成任务**解决了此问题。

## 机制

```
Layer 1: z_1 (d_1 维) → Mapping_1 → θ̂^(1) → Layer 1 前向
Layer 2: z_2 (d_2 维) → Mapping_2 → θ̂^(2) → Layer 2 前向
...
Layer L: z_L (d_L 维) → Mapping_L → θ̂^(L) → Layer L 前向
```

所有 z_l 同时优化，梯度通过各自映射网络传播。

## 理论依据

[[weight-manifold-hypothesis|Weight-Manifold Hypothesis]] 的实验证据支持**逐层子流形**的存在——每层参数 θ*^(l) 位于独立的低维流形 M_θ^(l) 上。LWT 让每个隐向量专注于捕获其对应层的流形结构。

## 与 SLVT 的对比

| 维度 | SLVT | LWT |
|------|------|-----|
| 隐向量数 | 1 | L（每层一个） |
| 内存需求 | 高（大目标网络时） | 低（~10× 减少） |
| 参数缩减 | 200–525× | 类似 |
| 精度 | 接近或超过 baseline | 通常更高 |
| 适用场景 | 中小型网络 | 大型网络、微调 |

## 在微调中的应用

LWT + 增加每个调制元素覆盖的权重数（L 参数）使 Mapping Networks 可扩展到 LLM/LVM 的微调场景。

## 参考

- [[weight-modulation]]
- [[parameter-efficient-training]]
- Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134, Section 2.4.2