46 lines
1.5 KiB
Markdown
46 lines
1.5 KiB
Markdown
---
|
||
title: "Parameter-Efficient Training: 参数高效训练"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [efficient-training, model-compression, meta-learning]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Parameter-Efficient Training (参数高效训练)
|
||
|
||
Parameter-Efficient Training 指在不显著损失模型性能的前提下，大幅减少**可训练参数量**的方法论。
|
||
|
||
## 主要策略分类
|
||
|
||
### 1. 内部缩减（训练目标网络本身）
|
||
|
||
- **Pruning**：训练中或训练后稀疏化（[[lottery-ticket-hypothesis|Lottery Ticket]]）
|
||
- **Quantization-Aware Training (QAT)**：低精度训练
|
||
- **Low-Rank 约束**：W ≈ UV^T，训练 U, V 而非 W
|
||
|
||
### 2. 外部缩减（不训练目标网络）
|
||
|
||
- **[[hypernetworks|HyperNetworks]]**：另一个网络生成权重（但仍需训练目标网络）
|
||
- **[[sen-mapping-networks|Mapping Networks]]**：仅训练隐向量，目标网络不训练 ← 最激进的外部缩减
|
||
- **预测参数**：从少量给定权重预测其余权重
|
||
|
||
### 3. 混合策略
|
||
|
||
Mapping Networks + LRD（低秩分解 FC 层）+ Pruning，同时减少训练和推理参数。
|
||
|
||
## Mapping Networks 的定位
|
||
|
||
在图 1 的分类框架中，Mapping Networks 处于**理想位置**：
|
||
|
||
- **训练聚焦**（而非仅推理聚焦）
|
||
- **外部缩减**（不训练目标网络）
|
||
- **利用流形结构**（Weight-Manifold Hypothesis）
|
||
- 200–500× 可训练参数缩减，500× 参数效率（99.5% 缩减）
|
||
|
||
## 参考
|
||
|
||
- [[low-rank-decomposition]]
|
||
- [[weight-modulation]]
|
||
- [[mapping-theorem]]
|