20260706:新增一些文章

concepts/layer-wise-training.md

@@ -0,0 +1,51 @@
+---
+title: "Layer-wise Training (LWT): 逐层训练策略"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [mapping-networks, training-strategy, memory-efficiency]
+sources: ["[[sen-mapping-networks]]"]
+---
+
+# Layer-wise Training (LWT)
+
+Layer-wise Training (LWT) 是 [[sen-mapping-networks|Mapping Networks]] 的两种训练策略之一：为**每一层**分配独立的隐向量来生成该层的参数，而非使用单个隐向量生成全部参数。
+
+## 动机
+
+SLVT（单隐向量训练）中，目标网络越大，映射网络的固定权重越多 → 内存需求线性增长。LWT 通过**分解生成任务**解决了此问题。
+
+## 机制
+
+```
+Layer 1: z_1 (d_1 维) → Mapping_1 → θ̂^(1) → Layer 1 前向
+Layer 2: z_2 (d_2 维) → Mapping_2 → θ̂^(2) → Layer 2 前向
+...
+Layer L: z_L (d_L 维) → Mapping_L → θ̂^(L) → Layer L 前向
+```
+
+所有 z_l 同时优化，梯度通过各自映射网络传播。
+
+## 理论依据
+
+[[weight-manifold-hypothesis|Weight-Manifold Hypothesis]] 的实验证据支持**逐层子流形**的存在——每层参数 θ*^(l) 位于独立的低维流形 M_θ^(l) 上。LWT 让每个隐向量专注于捕获其对应层的流形结构。
+
+## 与 SLVT 的对比
+
+| 维度 | SLVT | LWT |
+|------|------|-----|
+| 隐向量数 | 1 | L（每层一个） |
+| 内存需求 | 高（大目标网络时） | 低（~10× 减少） |
+| 参数缩减 | 200–525× | 类似 |
+| 精度 | 接近或超过 baseline | 通常更高 |
+| 适用场景 | 中小型网络 | 大型网络、微调 |
+
+## 在微调中的应用
+
+LWT + 增加每个调制元素覆盖的权重数（L 参数）使 Mapping Networks 可扩展到 LLM/LVM 的微调场景。
+
+## 参考
+
+- [[weight-modulation]]
+- [[parameter-efficient-training]]
+- Sen & Mukherjee, "Mapping Networks", arXiv:2602.19134, Section 2.4.2