20260706:新增一些文章

concepts/mlp-width-tapering.md

@@ -0,0 +1,43 @@
+---
+title: "MLP Width Tapering（MLP 宽度渐缩）"
+created: 2026-06-29
+updated: 2026-06-29
+type: concept
+tags: [language-model, mlp, architecture, efficiency, transformer]
+sources: [[tapered-language-models]]
+confidence: high
+---
+
+# MLP Width Tapering
+
+> [[depth-aware-capacity-allocation|深度感知容量分配]] 的具体实例化：在固定总参数量下，将 Transformer/LLM 中 MLP 的中间层宽度（d_ff）沿深度单调递减。
+
+## 为什么选 MLP
+
+| 组件 | 参数占比 | 跨架构通用性 | 调节轴 |
+|------|---------|-------------|--------|
+| **MLP (FFN)** | 主导（~2/3） | 所有架构共享 | 单一标量 d_ff |
+| Attention | 次之 | 架构差异大 | 多头/维度耦合 |
+| LayerNorm | 极小 | 通用 | 无意义 |
+
+MLP 是自然的 taper 目标：参数量最大、架构通用、调节维度单一干净。
+
+## Cosine Schedule
+
+推荐的衰减方式见 [[cosine-taper-schedule|余弦衰减调度]]：
+
+> w_ℓ = w_max · (cos(πℓ/(2L)))^p
+
+- ℓ ∈ [0, L-1]：层索引
+- p：控制陡峭度
+- 最优范围：1.50× → 0.50× baseline d_ff
+
+## 效果
+
+440M Transformer：uniform 16.28 → cosine taper 14.44 perplexity（零额外参数/计算）。
+
+## 相关概念
+
+- [[depth-aware-capacity-allocation|深度感知容量分配]]
+- [[cosine-taper-schedule|余弦衰减调度]]
+- [[tapered-language-models|Tapered Language Models]]