20260706:新增一些文章

concepts/parameter-efficient-training.md

@@ -0,0 +1,45 @@
+---
+title: "Parameter-Efficient Training: 参数高效训练"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [efficient-training, model-compression, meta-learning]
+sources: ["[[sen-mapping-networks]]"]
+---
+
+# Parameter-Efficient Training (参数高效训练)
+
+Parameter-Efficient Training 指在不显著损失模型性能的前提下，大幅减少**可训练参数量**的方法论。
+
+## 主要策略分类
+
+### 1. 内部缩减（训练目标网络本身）
+
+- **Pruning**：训练中或训练后稀疏化（[[lottery-ticket-hypothesis|Lottery Ticket]]）
+- **Quantization-Aware Training (QAT)**：低精度训练
+- **Low-Rank 约束**：W ≈ UV^T，训练 U, V 而非 W
+
+### 2. 外部缩减（不训练目标网络）
+
+- **[[hypernetworks|HyperNetworks]]**：另一个网络生成权重（但仍需训练目标网络）
+- **[[sen-mapping-networks|Mapping Networks]]**：仅训练隐向量，目标网络不训练 ← 最激进的外部缩减
+- **预测参数**：从少量给定权重预测其余权重
+
+### 3. 混合策略
+
+Mapping Networks + LRD（低秩分解 FC 层）+ Pruning，同时减少训练和推理参数。
+
+## Mapping Networks 的定位
+
+在图 1 的分类框架中，Mapping Networks 处于**理想位置**：
+
+- **训练聚焦**（而非仅推理聚焦）
+- **外部缩减**（不训练目标网络）
+- **利用流形结构**（Weight-Manifold Hypothesis）
+- 200–500× 可训练参数缩减，500× 参数效率（99.5% 缩减）
+
+## 参考
+
+- [[low-rank-decomposition]]
+- [[weight-modulation]]
+- [[mapping-theorem]]