---
title: "Parameter-Efficient Training: 参数高效训练"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [efficient-training, model-compression, meta-learning]
sources: ["[[sen-mapping-networks]]"]
---

# Parameter-Efficient Training (参数高效训练)

Parameter-Efficient Training 指在不显著损失模型性能的前提下，大幅减少**可训练参数量**的方法论。

## 主要策略分类

### 1. 内部缩减（训练目标网络本身）

- **Pruning**：训练中或训练后稀疏化（[[lottery-ticket-hypothesis|Lottery Ticket]]）
- **Quantization-Aware Training (QAT)**：低精度训练
- **Low-Rank 约束**：W ≈ UV^T，训练 U, V 而非 W

### 2. 外部缩减（不训练目标网络）

- **[[hypernetworks|HyperNetworks]]**：另一个网络生成权重（但仍需训练目标网络）
- **[[sen-mapping-networks|Mapping Networks]]**：仅训练隐向量，目标网络不训练 ← 最激进的外部缩减
- **预测参数**：从少量给定权重预测其余权重

### 3. 混合策略

Mapping Networks + LRD（低秩分解 FC 层）+ Pruning，同时减少训练和推理参数。

## Mapping Networks 的定位

在图 1 的分类框架中，Mapping Networks 处于**理想位置**：

- **训练聚焦**（而非仅推理聚焦）
- **外部缩减**（不训练目标网络）
- **利用流形结构**（Weight-Manifold Hypothesis）
- 200–500× 可训练参数缩减，500× 参数效率（99.5% 缩减）

## 参考

- [[low-rank-decomposition]]
- [[weight-modulation]]
- [[mapping-theorem]]