1.2 KiB
1.2 KiB
title, created, updated, type, tags, sources, confidence
| title | created | updated | type | tags | sources | confidence | |||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| Cosine Taper Schedule（余弦衰减调度） | 2026-06-29 | 2026-06-29 | concept |
|
|
high |
Cosine Taper Schedule
mlp-width-tapering 的最优调度函数——使用余弦函数将 MLP 宽度从前向后平滑递减。
公式
第 ℓ 层的 MLP 宽度：
w_ℓ = w_max · (cos(πℓ/(2L)))^p
- w_max：第 0 层（首层）的宽度
- L：总层数
- p：控制 steepness（论文中使用 p ≈ 1）
与其他调度的对比
| 调度 | 440M Transformer perplexity | 特点 |
|---|---|---|
| Uniform | 16.28 | 基准 |
| Step-wise | 15.96 | 硬截断，不连续 |
| Linear | 15.49 | 连续但不平滑 |
| Cosine | 14.44 | 连续平滑，最优 |
U 形曲线
Taper 的强度存在最优值：1.50× → 0.50× baseline d_ff。过强（1.75× → 0.25×）或过弱（1.25× → 0.75×）均不如中间值——说明存在一个最优的容量梯度。