20260706:新增一些文章

concepts/lottery-ticket-hypothesis.md

@@ -0,0 +1,33 @@
+---
+title: "Lottery Ticket Hypothesis: 稀疏子网络的彩票假说"
+created: 2026-06-25
+updated: 2026-06-25
+type: concept
+tags: [model-compression, pruning, sparse-networks]
+sources: ["[[sen-mapping-networks]]"]
+---
+
+# Lottery Ticket Hypothesis (彩票假说)
+
+Frankle & Carbin (2018) 提出的假说：**密集、随机初始化的前馈网络包含子网络（"中奖彩票"），这些子网络在单独训练时能达到与原始网络相当的测试精度，且训练迭代次数相近**。
+
+## 与 Mapping Networks 的关系
+
+| 维度 | Lottery Ticket | Mapping Networks |
+|------|---------------|------------------|
+| 目标 | 找到稀疏子网络 | 学习低维参数生成映射 |
+| 阶段 | 后训练 / 迭代剪枝 | 训练时即嵌入 |
+| 理论基础 | 经验观察 | Mapping Theorem（存在性保证） |
+| 推理效率 | 提升（稀疏） | 不变（生成全参数） |
+| 训练效率 | 不变 | 大幅提升（200-500× 可训练参数减少） |
+
+## 延伸
+
+- **Linear Mode Connectivity**：SGD 解的 mode connectivity 支持参数空间存在结构
+- 可结合 Mapping Networks 的 Pruning 扩展同时降低训练和推理参数
+
+## 参考
+
+- Frankle & Carbin, "The Lottery Ticket Hypothesis", ICLR 2019
+- [[low-rank-decomposition]]
+- [[parameter-efficient-training]]