myWiki/concepts/parameter-efficient-training.md

title, created, updated, type, tags, sources

title	created	updated	type	tags	sources
Parameter-Efficient Training: 参数高效训练	2026-06-25	2026-06-25	concept	efficient-training model-compression meta-learning	sen-mapping-networks

Parameter-Efficient Training (参数高效训练)

Parameter-Efficient Training 指在不显著损失模型性能的前提下，大幅减少可训练参数量的方法论。

主要策略分类

1. 内部缩减（训练目标网络本身）

• Pruning：训练中或训练后稀疏化（lottery-ticket-hypothesis）
• Quantization-Aware Training (QAT)：低精度训练
• Low-Rank 约束：W ≈ UV^T，训练 U, V 而非 W

2. 外部缩减（不训练目标网络）

• hypernetworks：另一个网络生成权重（但仍需训练目标网络）
• sen-mapping-networks：仅训练隐向量，目标网络不训练 ← 最激进的外部缩减
• 预测参数：从少量给定权重预测其余权重

3. 混合策略

Mapping Networks + LRD（低秩分解 FC 层）+ Pruning，同时减少训练和推理参数。

Mapping Networks 的定位

在图 1 的分类框架中，Mapping Networks 处于理想位置：

• 训练聚焦（而非仅推理聚焦）
• 外部缩减（不训练目标网络）
• 利用流形结构（Weight-Manifold Hypothesis）
• 200–500× 可训练参数缩减，500× 参数效率（99.5% 缩减）

参考

• low-rank-decomposition
• weight-modulation
• mapping-theorem