34 lines
1.3 KiB
Markdown
34 lines
1.3 KiB
Markdown
---
|
||
title: "Lottery Ticket Hypothesis: 稀疏子网络的彩票假说"
|
||
created: 2026-06-25
|
||
updated: 2026-06-25
|
||
type: concept
|
||
tags: [model-compression, pruning, sparse-networks]
|
||
sources: ["[[sen-mapping-networks]]"]
|
||
---
|
||
|
||
# Lottery Ticket Hypothesis (彩票假说)
|
||
|
||
Frankle & Carbin (2018) 提出的假说：**密集、随机初始化的前馈网络包含子网络（"中奖彩票"），这些子网络在单独训练时能达到与原始网络相当的测试精度，且训练迭代次数相近**。
|
||
|
||
## 与 Mapping Networks 的关系
|
||
|
||
| 维度 | Lottery Ticket | Mapping Networks |
|
||
|------|---------------|------------------|
|
||
| 目标 | 找到稀疏子网络 | 学习低维参数生成映射 |
|
||
| 阶段 | 后训练 / 迭代剪枝 | 训练时即嵌入 |
|
||
| 理论基础 | 经验观察 | Mapping Theorem（存在性保证） |
|
||
| 推理效率 | 提升（稀疏） | 不变（生成全参数） |
|
||
| 训练效率 | 不变 | 大幅提升（200-500× 可训练参数减少） |
|
||
|
||
## 延伸
|
||
|
||
- **Linear Mode Connectivity**：SGD 解的 mode connectivity 支持参数空间存在结构
|
||
- 可结合 Mapping Networks 的 Pruning 扩展同时降低训练和推理参数
|
||
|
||
## 参考
|
||
|
||
- Frankle & Carbin, "The Lottery Ticket Hypothesis", ICLR 2019
|
||
- [[low-rank-decomposition]]
|
||
- [[parameter-efficient-training]]
|