---
title: "Lottery Ticket Hypothesis: 稀疏子网络的彩票假说"
created: 2026-06-25
updated: 2026-06-25
type: concept
tags: [model-compression, pruning, sparse-networks]
sources: ["[[sen-mapping-networks]]"]
---

# Lottery Ticket Hypothesis (彩票假说)

Frankle & Carbin (2018) 提出的假说：**密集、随机初始化的前馈网络包含子网络（"中奖彩票"），这些子网络在单独训练时能达到与原始网络相当的测试精度，且训练迭代次数相近**。

## 与 Mapping Networks 的关系

| 维度 | Lottery Ticket | Mapping Networks |
|------|---------------|------------------|
| 目标 | 找到稀疏子网络 | 学习低维参数生成映射 |
| 阶段 | 后训练 / 迭代剪枝 | 训练时即嵌入 |
| 理论基础 | 经验观察 | Mapping Theorem（存在性保证） |
| 推理效率 | 提升（稀疏） | 不变（生成全参数） |
| 训练效率 | 不变 | 大幅提升（200-500× 可训练参数减少） |

## 延伸

- **Linear Mode Connectivity**：SGD 解的 mode connectivity 支持参数空间存在结构
- 可结合 Mapping Networks 的 Pruning 扩展同时降低训练和推理参数

## 参考

- Frankle & Carbin, "The Lottery Ticket Hypothesis", ICLR 2019
- [[low-rank-decomposition]]
- [[parameter-efficient-training]]