20260706:新增一些文章

concepts/cosine-taper-schedule.md

@@ -0,0 +1,42 @@
+---
+title: "Cosine Taper Schedule（余弦衰减调度）"
+created: 2026-06-29
+updated: 2026-06-29
+type: concept
+tags: [language-model, schedule, cosine, architecture, efficiency]
+sources: [[tapered-language-models]]
+confidence: high
+---
+
+# Cosine Taper Schedule
+
+> [[mlp-width-tapering|MLP 宽度渐缩]] 的最优调度函数——使用余弦函数将 MLP 宽度从前向后平滑递减。
+
+## 公式
+
+第 ℓ 层的 MLP 宽度：
+
+> w_ℓ = w_max · (cos(πℓ/(2L)))^p
+
+- w_max：第 0 层（首层）的宽度
+- L：总层数
+- p：控制 steepness（论文中使用 p ≈ 1）
+
+## 与其他调度的对比
+
+| 调度 | 440M Transformer perplexity | 特点 |
+|------|---------------------------|------|
+| Uniform | 16.28 | 基准 |
+| Step-wise | 15.96 | 硬截断，不连续 |
+| Linear | 15.49 | 连续但不平滑 |
+| **Cosine** | **14.44** | 连续平滑，最优 |
+
+## U 形曲线
+
+Taper 的强度存在最优值：1.50× → 0.50× baseline d_ff。过强（1.75× → 0.25×）或过弱（1.25× → 0.75×）均不如中间值——说明存在一个最优的**容量梯度**。
+
+## 相关概念
+
+- [[mlp-width-tapering|MLP 宽度渐缩]]
+- [[depth-aware-capacity-allocation|深度感知容量分配]]
+- [[tapered-language-models|Tapered Language Models]]