1.5 KiB
1.5 KiB
title, created, updated, type, tags, sources
| title | created | updated | type | tags | sources | ||||
|---|---|---|---|---|---|---|---|---|---|
| Parameter-Efficient Training: 参数高效训练 | 2026-06-25 | 2026-06-25 | concept |
|
|
Parameter-Efficient Training (参数高效训练)
Parameter-Efficient Training 指在不显著损失模型性能的前提下，大幅减少可训练参数量的方法论。
主要策略分类
1. 内部缩减（训练目标网络本身）
- Pruning：训练中或训练后稀疏化（lottery-ticket-hypothesis）
- Quantization-Aware Training (QAT)：低精度训练
- Low-Rank 约束：W ≈ UV^T，训练 U, V 而非 W
2. 外部缩减（不训练目标网络）
- hypernetworks：另一个网络生成权重（但仍需训练目标网络）
- sen-mapping-networks：仅训练隐向量，目标网络不训练 ← 最激进的外部缩减
- 预测参数：从少量给定权重预测其余权重
3. 混合策略
Mapping Networks + LRD（低秩分解 FC 层）+ Pruning，同时减少训练和推理参数。
Mapping Networks 的定位
在图 1 的分类框架中，Mapping Networks 处于理想位置：
- 训练聚焦（而非仅推理聚焦）
- 外部缩减（不训练目标网络）
- 利用流形结构（Weight-Manifold Hypothesis）
- 200–500× 可训练参数缩减，500× 参数效率（99.5% 缩减）