title, created, updated, type, tags, sources
| title |
created |
updated |
type |
tags |
sources |
| Lottery Ticket Hypothesis: 稀疏子网络的彩票假说 |
2026-06-25 |
2026-06-25 |
concept |
| model-compression |
| pruning |
| sparse-networks |
|
|
Lottery Ticket Hypothesis (彩票假说)
Frankle & Carbin (2018) 提出的假说：密集、随机初始化的前馈网络包含子网络（"中奖彩票"），这些子网络在单独训练时能达到与原始网络相当的测试精度，且训练迭代次数相近。
与 Mapping Networks 的关系
| 维度 |
Lottery Ticket |
Mapping Networks |
| 目标 |
找到稀疏子网络 |
学习低维参数生成映射 |
| 阶段 |
后训练 / 迭代剪枝 |
训练时即嵌入 |
| 理论基础 |
经验观察 |
Mapping Theorem（存在性保证） |
| 推理效率 |
提升（稀疏） |
不变（生成全参数） |
| 训练效率 |
不变 |
大幅提升（200-500× 可训练参数减少） |
延伸
- Linear Mode Connectivity：SGD 解的 mode connectivity 支持参数空间存在结构
- 可结合 Mapping Networks 的 Pruning 扩展同时降低训练和推理参数
参考
